东莞网站推广模式,万网域名查询注册商,网络销售的工作内容,wordpress 流程图插件DeepSeek 这真的是太惊艳了#xff0c;发布出来的模型这么能打#xff0c;在线的版本使用起来也是丝滑连招#xff0c;感觉效果比起之前一直用智谱 chatglm4 更好用#xff0c;想着本地化部署一下。 本来以为#xff0c;会和之前在开发测试 transformers 的模型和代码一样…DeepSeek 这真的是太惊艳了发布出来的模型这么能打在线的版本使用起来也是丝滑连招感觉效果比起之前一直用智谱 chatglm4 更好用想着本地化部署一下。 本来以为会和之前在开发测试 transformers 的模型和代码一样需要自己去配置写 langchain 和 streamlit 的但是看下来实际上最简单并且家用的方法。 可以直接 Windows 装 Ollama Docker 化部署 OpenWebUI就能够本地局域网使用了于是开始配置部署并进行下记录。 这份记录可能会随着本地配置的内容调整一些细节供各位看官参考。
CUDA
好久没有用自己的台式机显卡去做一些开发了之前还是在用的CUDA11.0担心是不是需要升级下配合新的系统所以直接下了12.6的CUDA包安装并清理了历史CUDA环境
Ollama
ollama官网下载window基本上是傻瓜式的 默认安装完了在 C:\Users{your_user_name}\AppData\Local\Programs\Ollama下面磁盘不够可以拷贝到其他盘然后链接回来
mklink /D C:\Users\{your_user_name}\AppData\Local\Programs\Ollama D:\software\Ollama打开一个命令窗口输入ollama能看到帮助命令使用方式 我本地有一个2080TI的卡Deepseek能跑到14b的模型 命令行输入 第一次开始时会先去下载14b模型稍微会慢一些
C盘空间不够可以迁移走模型到其他盘然后还是使用 mklink /D C:\Users\{your_user_name}\.ollama {new_model_dir}
这种启动下的 Ollama 对应的模型会被加载到内存或者GPU中退出后一定时间会自动回收资源有自身的管理机制这块可以再探索下 这种命令行的交互方式肯定不是很爽家庭用又没有可能无时无刻不命令窗进行所以往下去部署 OpenWebUI
Docker Desktop
部署 OpenWebUI 有不少方法有本地编译python服务容器化等我这里用的是 docker 容器化的方法 需要先在 windows 中安装上 docker 环境 在 Docker Desktop 文档中去下载 下载完了 Docker Desktop Installer.exe 后一路傻瓜式安装过去就行最后启动的时候可能会有各种问题建议在网上找下资料确认下 我这里走的是把 wsl 升级到 wsl2 的路径然后默认启动方式启动的
wsl --set-default-version 2
wsl --set-version Ubuntu-24.04 2启动完成后可以到命令行中拉去 OpenWebUI 的镜像了
OpenWebUI
这个镜像官网的文档在 github OpenWebUI 上面 明确的指出了对于 Ollama 安装在本机时用
docker run -d -p 3000:8080 --add-hosthost.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main这个命令启动就够了 Ollama 和 OpenWebUI 靠的是 add host 关联的在 OpenWebUI 的管理界面我们能看到相应的 Ollama 关联地址如果你没有配置你也可以手动去调整 这里我顺手把 OpenAI API 关掉了在其他所有内容都靠科学上网解决后这里关掉 CloseAI 的 API免得它还去调用
这样下来我们想到于有了个管理用户用户历史对话模型权限等等的前后台服务界面还能够基于自建的知识库去查询省事了就是不知道里面调整一些内容麻不麻烦如联网查询等TODO
这之下我们就能在家里面基于本地部署的地址去在同一个局域网如同一WIFI中从各种终端的 Web 进入本地化使用了
test 统信
这个纯粹试一下玩玩 找了台统信的电脑试了一下4核32G类似的本地已经预先安装了docker环境 就用了上面两个镜像 先启动 ollama
docker run -d -v /home/lenovo/volumes/ollama:/root/.ollama -p 11434:11434 --name ollama alpine/ollama启动好了之后进入容器去执行 ollama run deepseek-r1:1.5b 这里我先预先下载了模型了 然后启动 open-webui
docker run -d -p 13000:8080 -v /home/lenovo/volumes/openwebui:/app/backend/data --name open-webui ghcr.io/open-webui/open-webui:main这里映射到了13000上查看对应容器的ip 可以登录 172.17.0.6:13000初始化 admin 用户了 初始化完之后上右上角点用户头像进入管理员面板配置下ollama 的连接这里没固定ollama的docker ip感兴趣可以去尝试下 按照实际ip情况改一下ollama的连接 这样就能够看到模型了 直接CPU推理总体的性能不是很好一个简单的推理耗时了7分钟
