uemo网站源码,丽江网站开发,设计公司logo软件,慈溪专业做网站公司Deepseek大火后#xff0c;很多文章教大家部署Dfiy和ollamadeepseek#xff0c;但是大部分都忽略了数据安全问题#xff0c;本文重点介绍Deepseek存算分裂安全架设#xff0c;GPU云主机只负责计算、CPU本地主机负责数据存储#xff0c;确保数据不上云#xff0c;保证私有…Deepseek大火后很多文章教大家部署Dfiy和ollamadeepseek但是大部分都忽略了数据安全问题本文重点介绍Deepseek存算分裂安全架设GPU云主机只负责计算、CPU本地主机负责数据存储确保数据不上云保证私有数据。
一、首先请看安全风险问题
登陆https://fofa.info/ 输入 ollama 你会发现一堆的ollama GPU算力服务器可以“白嫖”
你重金租用的服务器在被别人免费调用时候导致你的token不足时你是否会心痛甚至你是否担心知识库信息被下载。所以本文建议大家采用存算分离方式来部署Deepseek 二、存算部署策略
一网络架构图 二GPU云主机仅运行计算
1、GPu主机找云服务商购买本文用的是天翼云的deepseep预装版
具体手册详见官网手册
通过应用市场部署和使用专属的DeepSeek服务-算力互联调度平台-最佳实践 - 天翼云
2、ssh登陆GPU主机可以看到deepseek r1:7b预装好了
ollama list 增加下载一个向量模型这个很重要后续dify精确查询知识库需要 ollama pull bge-m3 3、将默认的web-ui的docker停掉 查看镜像 docker image ls 删除镜像 4、设置安全组设置仅允许IP为客户dify-CPU主机访问GPU主机11434端口其他主机都不能访问11434端口 5、修改ollam的配置
vi /etc/systemd/system/ollama.service
增加 EnvironmentOLLAMA_HOST0.0.0.0:11434 三、企业内部cpu主机跑知识库运行在企业DMA区域运行dockerdify
1、安装优版图版22.04 其他版本也行
lsb_release -a 2、将下载好的 dify-main.tar.gz 上传CPU主机并解压 tar -xzvf dify-main.tar.gz 3、设置Docker的apt仓库
在新主机上首次安装Docker Engine之前需要先为Docker设置apt仓库以便可以从仓库中安装和更新Docker。 # Add Dockers official GPG key: sudo apt-get update sudo apt-get install ca-certificates curl sudo install -m 0755 -d /etc/apt/keyrings # 这一句没有魔法在国内可能会报错可以将链接换成清华镜像源如 # sudo curl -fsSL https://mirrors.tuna.tsinghua.edu.cn/docker-ce/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc sudo curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc sudo chmod ar /etc/apt/keyrings/docker.asc # Add the repository to Apt sources: echo \ deb [arch$(dpkg --print-architecture) signed-by/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/ubuntu \ $(. /etc/os-release echo $VERSION_CODENAME) stable | \ sudo tee /etc/apt/sources.list.d/docker.list /dev/null sudo apt-get update 4.安装Docker 在Ubuntu中运行以下命令即可安装最新版Docker sudo apt-get install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin docker ps -ef
docker compse version 确认docker 安装正常了
5、配置镜像源
镜像站可能随时失效失效后需编辑配置文件更换。以下提供的镜像链接收集自网络时间截止至2024年11月 # 创建目录 sudo mkdir -p /etc/docker # 写入配置文件 sudo tee /etc/docker/daemon.json -EOF { registry-mirrors: [ https://docker.1panel.dev, https://docker.foreverlink.love, https://dytt.online, https://func.ink, https://lispy.org, https://docker.xiaogenban1993.com, https://docker.xn--6oq72ry9d5zx.cn, https://docker.zhai.cm, https://docker.5z5f.com, https://a.ussh.net, https://docker.cloudlayer.icu, https://docker.linkedbus.com, https://docker.m.daocloud.io ] } EOF # 重新加载守护进程 sudo systemctl daemon-reload # 重启 docker 服务 sudo systemctl restart docker 6、cd /dify/docker 自行 docker compose up 7.成功运行 设置模型IP地址为GPU主机地址增加deepseek r17b模型增加 bge-m3向量模型 三、安全的将知识库数据传到本地CPU主机了
