聊城推广网站,拖拽式可视化编辑网站,百度收录多的是哪些网站,做网站 网络科技公司目标
本次部署的目标是在本地服务器上部署DeepSeek。但是该服务不能连接外网#xff0c;因此只能使用离线部署的方式。为了一次完成部署。现在云服务器上进行尝试。
云服务器部署尝试
云服务器配置
CentOS72080Ti 11GB
安装准备
1、上传iso并配置为本地yum源 安装前先将…目标
本次部署的目标是在本地服务器上部署DeepSeek。但是该服务不能连接外网因此只能使用离线部署的方式。为了一次完成部署。现在云服务器上进行尝试。
云服务器部署尝试
云服务器配置
CentOS72080Ti 11GB
安装准备
1、上传iso并配置为本地yum源 安装前先将网盘中的epel上传到服务器并配置成本地iso 文件名为centos7-epel.iso 上传后新建一个目录
mkdir -p /opt/epel/
mount -o loop /xxx/xxx/centos7-epel.iso /opt/epel/配置epel为本地yum源
touch /etc/yum.repos.d/epel.repo
vim /etc/yum.repos.d/epel.repo填写内容如下
[epel]
nameepel
baseurlfile:///opt/epel/
gpgcheck0
enable1保存
yum clean all
yum repolist
yum makecache执行以上命令清理并重新配置缓存信息 2、安装cuda与驱动 nvidia-smi 命令 显示cuda与驱动即可
3、安装ollama 下载百度盘中文件其中
install.sh
ollama-linux-amd64.tgz两个文件是ollama的离线安装文件 将两个文件放在同一个目录赋予install.sh执行权限之后运行即可
chmod ux install.sh
./install.sh安装好之后执行如下命令可以看到ollama的安装版本则表示安装成功
ollama serve
ollama -v
ollama version is 0.5.7ollama与docker类似。可以通过–help来查看帮助这里不多介绍
4、安装ffmpeg,open-webui需要 将ffmpeg安装包传输到部署服务器ffmpeg-5.1.tar.gz 解压安装
tar zcvf ffmpeg-5.1.tar.gz
cd ffmpeg-5.1
./configure --disable-x86asm
make -j 40
make install下载模型
由于是离线安装无法联网因此也无法通过部署服务器直接下载模型
这时候我们需要使用可以联网的linux设备下载模型也可以使用笔者的链接提供的下载好的模型文件 deepseek-r1-32b-models.tar.gz
1、如何自己下载模型(在可联网的机器上)
先修改ollama的存储位置编辑下面的文件
vim /etc/systemd/system/ollama.service在[Service]参数项中增加下面一行具体目录可以自己定义笔者使用的是/opt/ai/models
EnvironmentOLLAMA_MODELS/opt/ai/models将models目录设置属主必须做否则ollama无法启动
chown ollama:ollama /opt/ai/models -R或者
chown a10:a10 /opt/ai/models -R重新加载配置文件并重启ollama
systemctl daemon-reload
systemctl restart ollama然后通过
ollama run deepseek-r1:32b下载模型在进度条走完后模型下载完成存储在/opt/ai/models目录中
打包models目录并将整个目录迁移到部署的服务器即可
2、如何使用笔者提供的已经下载的模型同时也是1的延续
在离线部署服务器上修改ollama的service文件指定models目录
笔者使用了和下载服务器相同的目录
EnvironmentOLLAMA_MODELS/opt/ai/models将models打包文件传输过来解压覆盖
ollama list即可看到模型 这时候使用如下命令即可运行模型
ollama run deepseek-r1:32b运行命令后处于terminal状态可直接提问模型会反馈对应结果
使用open-webui支持deepseek图形界面及便捷访问
1、python
必须使用3.11版本如果使用其他版本则会出现安装缺包的问题 2、pip
如果有本地pip源最好如果没有可使用笔者提供的已经下载好的whl文件
open-webui-whl-offline.tar.gz至于如何本地安装这些whl文件请自行百度。这里不多介绍
3、安装好open-webui之后配置环境变量
export OLLAMA_BASE_URLhttp://127.0.0.1:11434 export OPENAI_API_BASE_URLNone export OPENAI_API_KEYNone 以上三个环境变量的意思分别是 设置本地ollama的接口将openai的一些配置取消因为是离线模式无法连接openai切记设置否则open-webui很容易白屏
4、启动open-webui 如果你在安装python 3.11的版本的时候将python 3.11的bin目录配置到了PATH中则 open-webui可直接执行否则需要到python 3.11 的bin目录下查找到open-webui的二进制文件
启动open-webui
open-webui serve需要等。笔者也不是很清楚等了大概一分钟才启动成功大概率还是没联网的问题
看到如下info信息则表示open-webui启动成功
本地服务器
本地服务器已经有CUDA了并且是12.4CentOS7能支持的最高版本 本地已经有ollama了。但是在部署过程中由于ollma版本低。并不支持deepseek-r1 70b模型了
所有文件上传到 /home/a10/Downloads下了
1、ollma升级
下载百度盘中文件其中
install.sh
ollama-linux-amd64.tgz两个文件是ollama的离线安装文件
将两个文件放在同一个目录赋予install.sh执行权限之后运行即可
chmod ux install.sh
./install.sh安装好之后执行如下命令可以看到ollama的安装版本则表示安装成功
ollama serve
ollama -v
ollama version is 0.5.7ollama与docker类似。可以通过–help来查看帮助这里不多介绍
2、deepseek模型部署
/home/a10/ 下创建 deepseek文件夹
1、上传 deepseek-r1-70b-models.tar.gz
解压文件夹2、修改ollama配置文件
vim /etc/systemd/system/ollama.service
修改Environment“OLLAMA_MODELS/home/a10/deepseek/models”
[Unit]DescriptionOllama ServiceAfternetwork-online.target[Service]ExecStart/usr/bin/ollama serveUserollamaGroupollamaRestartalwaysRestartSec3EnvironmentOLLAMA_HOST0.0.0.0:11434
EnvironmentOLLAMA_MODELS/home/a10/deepseek/models
EnvironmentOLLAMA_KEEP_ALIVE-1
EnvironmentCUDA_VISIBLE_DEVICES0,1,2,3,4,5
#EnvironmentCUDA_VISIBLE_DEVICES0,1,2,3[Install]WantedBydefault.target将models目录设置属主必须做否则ollama无法启动
chown a10:a10 /home/a10/deepseek/models -R重新加载配置文件并重启ollama
systemctl daemon-reload
systemctl restart ollama查看 deepseek模型是否存在
ollama list存在运行即可
ollama run deepseek-r1:70b运行命令后处于terminal状态可直接提问模型会反馈对应结果
ollama 可以通过 http://服务器ip:11434/ 测试是否启动
3、python升级3.11.9
注意 一定要是用python 3.11 因为 open-webui需要 我是用下面的方法安装的3.11.9但是里面有坑 比如 ssl 就没有。还有这个教程是 将python的版本升级成3.11.9。而python3的没变
Linux系统安装python3.11.1
4、安装open-webui
三步教会你完全离线搭建openwebui 这个不好用 可以跟下面的教程
centos部署open-webuicentos部署open-webui的完整流程记录
出现错误 1在 /home/a10/Downloads/open-webui-whl-offline文件夹下运行下面代码出错
pip install --no-index --find-links. open_webui-0.5.10-py3-none-any.whl出错原因
Processing ./nest_asyncio-1.6.0-py3-none-any.whl (from unstructured-client-unstructured0.16.11-open-webui0.5.10)
INFO: pip is looking at multiple versions of google-api-core[grpc] to determine which version is compatible with other requirements. This could take a while.
ERROR: Could not find a version that satisfies the requirement grpcio-status2.0.dev0,1.33.2; extra grpc (from google-api-core[grpc]) (from versions: 1.63.0rc1)
ERROR: No matching distribution found for grpcio-status2.0.dev0,1.33.2; extra grpc这是由于 单个文件他获取不到导致的。比如 grpcio_status-1.63.0rc1-py3-none-any.whl 是存在的。但是由于rc1是预装的pip不会主动安装它。因此可以先手动安装。
pip install --no-index --find-links. grpcio_status-1.63.0rc1-py3-none-any.whl再进行安装
pip install --no-index --find-links. open_webui-0.5.10-py3-none-any.whl2如果中间遇到某一个tar.gz的包无法安装成功可以解压缩进入到解压缩后的目录用包中的setup单独安装下
python setup.py install源码编译安装python3.12没有ssl模块python3.12 ModuleNotFoundError: No module named ‘_ssl‘
3运行 open-webui serve时总是提示SQLite 版本低。明明已经配置了。
NotSupportedError: (sqlite3.NotSupportedError) deterministicTrue requires SQLite 3.8.3 or higher
(Background on this error at: https://sqlalche.me/e/20/tw8g)解决方法
centos部署open-webuicentos部署open-webui的完整流程记录
参考连接
Centos7/Redhat7下离线部署ollama与deepseek-R1-32B模型centos7离线安装cuda,cudnn,torch一Linux系统安装python3.11.1三步教会你完全离线搭建openwebui 这个不好用源码编译安装python3.12没有ssl模块python3.12 ModuleNotFoundError: No module named ‘_ssl‘centos部署open-webuicentos部署open-webui的完整流程记录
