长春企业网站seo,qq群推广方法,天眼查企业信用查询,福州网站开发si7.cc**云服务器用LinuxDockerOllamaOpenWebUI部署DeepSeek-R1大语言模型#xff08;LLMs#xff09;#xff0c;DeepSeek本地化部署教程#xff08;在自己电脑上部署也可以参考此教程#xff09;。**超详细教程#xff0c;手把手。
在当今数字化时代#xff0c;大型语言模型…**云服务器用LinuxDockerOllamaOpenWebUI部署DeepSeek-R1大语言模型LLMsDeepSeek本地化部署教程在自己电脑上部署也可以参考此教程。**超详细教程手把手。
在当今数字化时代大型语言模型LLMs的应用越来越广泛。本文将详细介绍如何在云服务器上使用 Docker、Ollama 和 OpenWebui 部署 DeepSeek-R1 大型语言模型实现其本地化部署让你能够更便捷地使用这一强大的语言模型。
视频教程https://www.bilibili.com/video/BV1GpNee9EPJ/ DeepSeek-R1私有化部署教程 | Linux服务器搭建AI大语言模型 雨云GPU云服务器搭建SD(Stable Diffusion)的教程搭建自己的AI绘画网站AIGChttps://blog.zeruns.com/archives/768.html雨云GPU云服务器搭建ChatGPT—GPT4All本地部署https://blog.zeruns.com/archives/767.html
站长交流群767557452
Ollama简介
Ollama是一款开源的大型语言模型LLMs本地化运行工具支持通过命令行交互快速部署AI模型。其核心优势包括
轻量化部署无需复杂环境配置单条命令即可启动模型服务多模型支持内置HuggingFace模型库支持Llama 2、Mistral、DeepSeek等主流模型跨平台运行提供Linux/macOS/Windows全平台支持Docker集成支持容器化部署保障环境隔离与一致性REST API提供标准化接口方便与各类前端UI集成
Ollama官网https://url.zeruns.com/Ollama
DeepSeek简介
DeepSeek-R1是深度求索DeepSeek公司研发的新一代开源大语言模型具备以下特性
复杂推理能力在数学推导、代码生成等场景表现优异长上下文支持最高支持128k tokens的上下文窗口多轮对话优化采用RLHF技术提升对话连贯性企业级适配提供量化版本4-bit/8-bit满足不同硬件需求灵活部署支持本地私有化部署与API云端调用
DeepSeek官网https://url.zeruns.com/DeepSeek
准备服务器
接着需要一台服务器来搭建也可以用自己电脑要Linux系统我这里推荐皓量云擎的轻量应用服务器8核16G 才60元/月
皓量云擎优惠注册地址https://url.vpszj.cn/hly_csdn
邀请码zeruns走链接或邀请码注册送5折和8折优惠券
其他性价比高的服务器推荐 https://blog.zeruns.com/archives/383.html
皓量云擎 宁波 轻量应用服务器 性能测评https://blog.vpszj.cn/archives/2390.html莱卡云 宁波电信云服务器 性能测评IPv4IPv6双栈https://blog.zeruns.com/archives/807.html雨云 宁波E5-2650v4独服测评48核64G 300兆 588元/月https://blog.vpszj.cn/archives/2364.html
注册完账号后进到皓量云擎控制台点击 轻量应用服务器→立即购买套餐建议选8核16G选4核8G也可以但最多只能部署7B的模型系统选Debian12然后点击下一步 确认信息然后提交订单 点击管理进入到服务器控制台 点击 安全组→添加规则→入口 设置开放全部端口也可以只开放用到的端口 连接服务器
下载安装并打开ssh客户端软件ssh客户端软件推荐putty或mobaxterm。
SSH客户端软件下载地址https://www.123pan.com/ps/2Y9Djv-UAtvH.html
我这里用mobaxterm在SSH客户端中输入你的服务器的IP地址控制台获取还有SSH端口默认是22然后点击好的或者打开。 然后输入账号并按回车账号一般默认为root接着输入密码密码在控制台获取并按回车确定输入密码时不会显示出来。
温馨提示在SSH终端中按住鼠标左键选择文字然后松开鼠标再在空白处单击一下这样就把选中的文字复制了在SSH终端单击右键即为粘贴。 APT换源
系统默认apt软件下载源是国外服务器所以需要换国内镜像源使用chsrc来换源。
在SSH终端输入下面的指令#开头的是注释不用输入。
# 下载安装chsrc
curl https://chsrc.run/posix | bash# 自动测速寻找最快者换源
chsrc set debian设置SWAP
SWAP交换空间是磁盘上的一块区域它在物理内存RAM不足时作为虚拟内存来使用。当系统的物理内存被耗尽时操作系统会将一些暂时不用的内存数据交换到 SWAP 空间中从而为当前正在运行的程序腾出物理内存。这有助于避免因物理内存不足而导致系统崩溃或程序无法正常运行的问题。
# 使用一键脚本设置swap按照提示设置4096Mb的swap
wget --no-check-certificate https://gitee.com/zeruns/Linux-shell/raw/master/setup_swap.sh chmod x setup_swap.sh ./setup_swap.sh# 检查内存大小看看是否设置成功
free -m安装Docker
在SSH终端输入下面的指令。
用apt包管理器来安装
# 安装docker如果遇到问是否继续的就输入y来确定
apt update apt -y install docker.io# 设置docker开机自启和启动docker
systemctl enable docker systemctl start docker# 检查是否安装成功若安装成功会显示 Docker version x.x.x
docker -v若没安装成功就试试下面的安装脚本
# 国内需要执行这步
export DOWNLOAD_URLhttps://mirrors.ustc.edu.cn/docker-ce # Docker安装脚本
curl -fsSL https://get.docker.com -o get-docker.sh sudo sh get-docker.sh# 检查是否安装成功若安装成功会显示 Docker version x.x.x
docker -v如果还是不行就尝试下面链接的手动安装教程吧
docker手动安装教程https://www.runoob.com/docker/ubuntu-docker-install.html
Docker换国内源
# docker换源
echo {registry-mirrors: [https://docker.1ms.run,https://docker.1panel.live,https://docker.zeruns.vip,https://9uy9qgvj.mirror.aliyuncs.com]} | sudo tee /etc/docker/daemon.json /dev/null # 使用chsrc给docker换源如果上面的不行再用这个
chsrc set dockerhub# 重启Docker
systemctl daemon-reload systemctl restart docker.service安装Ollama
本教程用Docker来安装Ollama只支持调用CPU不支持GPU。
可以将下面命令中的 /data/ollama 改成其他目录这个目录是用于存放模型数据的不改也行保证空间足够就行。
# 创建Ollama容器
docker run -d -v /data/ollama:/root/.ollama -p 11434:11434 --name ollama --restartalways ollama/ollama如果出现报错 error: exec: apparmor_parser: executable file not found in $PATH 就去SSH终端执行 apt -y install apparmor apparmor-utils 然后再执行一次上面创建Ollama容器的命令即可如果提示容器已存在就运行 docker start ollama 。
部署DeepSeek-R1模型
本教程以部署 DeepSeek-R1-14B 为例14B 代表该模型的参数数量为 140 亿B 是 “Billion” 的缩写意为十亿建议16G内存或以上如果只有8G内存建议部署 1.5B 或 7B 版本的可以简单理解为每1B需要1G内存。
还有14B版本需要占用10GB左右的硬盘空间需保证你服务器剩余硬盘空间足够
# 下载并运行deepseek-r1:14b模型
docker exec -it ollama ollama pull hf.co/lmstudio-community/DeepSeek-R1-Distill-Qwen-14B-GGUF:Q6_K
# 如果上面的不行可以尝试这个
docker exec -it ollama ollama pull deepseek-r1:14b# 7b模型8G内存建议这个
docker exec -it ollama ollama pull hf.co/lmstudio-community/DeepSeek-R1-Distill-Qwen-7B-GGUF:Q4_K_M
# 如果上面的不行可以尝试这个
docker exec -it ollama ollama pull deepseek-r1:7b将上面命令中的 pull 改成 run 这样可以直接运行模型直接在命令行里对话。
安装OpenWebUI
Open WebUI 是一种可扩展的、功能丰富且用户友好的自托管 WebUI旨在完全离线运行。它支持各种LLM运行器包括 Ollama 和与 OpenAI 兼容的 API。
下面代码框命令整个复制到SSH终端运行不要逐行
docker run -d \-p 8186:8080 \--add-hosthost.docker.internal:host-gateway \-e OLLAMA_BASE_URLhttp://host.docker.internal:11434 \--name openwebui \--restartalways \-v /data/open-webui:/app/backend/data \dyrnq/open-webui:main打开浏览器访问 http://服务器公网IP:8186即可开始使用 Open WebUI。用邮箱注册下就可以了 如果没有下载模型需要先下载模型如果前面在ollama上下载过了这里直接就选择模型就能用了。可以开始对话了。 还可以开启联网搜索功能 如果想要通过域名访问可以自己搭个nginx来反代。
推荐阅读
高性价比和便宜的VPS/云服务器推荐: https://blog.zeruns.com/archives/383.html我的世界开服教程https://blog.zeruns.com/tag/mc/海口-北京-澳门 旅行记录和照片分享https://blog.zeruns.com/archives/849.html苹果 Mac Mini M4 迷你主机简单测评和拆解最强单核性能的小主机https://blog.zeruns.com/archives/851.html云服务器搭建Typecho个人博客网站保姆级建站教程https://blog.zeruns.com/archives/749.html
English Version of the Article: https://blog.zeruns.top/archives/41.html
