电商网站详细设计,网站建设及运行情况介绍,3d建模要学多久,网站开发开题报告范文本地离线运行Openweb-ui ollama容器化部署 说明安装internet操作内网操作问题线程启动错误最终命令总结说明
最近公司有一个在内网部署一个离线大模型的需求，网络是离线状态，服务器有A100GPU，一开始是想折腾开源chatGML4大模型，因为使用过gml3，所以想着部署gml4应该不难。… 本地离线运行Openweb-ui ollama容器化部署 说明安装internet操作内网操作 问题线程启动错误最终命令 总结 说明
最近公司有一个在内网部署一个离线大模型的需求，网络是离线状态，服务器有A100GPU，一开始是想折腾开源chatGML4大模型，因为使用过gml3，所以想着部署gml4应该不难。于是把模型和程序下载好，把模型导入到内网…发现不能使用网页版运行，只能使用客户端运行，用自带网页需要依赖gradio组件，该组件又需要联网…好吧，如果您知道怎么离线运行，请视我无知…于是查询，更换了一种更便捷的方案部署。Open-webui+ollama的方案，Open-webui是网页界面服务，ollama是大模型运行框架，支持多种大模型，只需要选择切换就能切换不同模型运行了。开整！
安装
internet操作
这里使用docker镜像容器的方式安装，简化部署和运行。 1.拉取镜像，这里虽然可以分别拉取Open-webui和ollama镜像，但是我仍然推荐你拉取一个镜像就好了。
docker pull ghcr.io/open-webui/open-webui:ollama拉取完这个镜像，run起来就算部署完了。这个镜像是包含两个组件，并且是openwebui官网提供说明的下载地址。可能会有点慢，但是实测是可以拉取下来的。 2.run起镜像来。
docker run -d -p 3000:8080 --gpus=all -v /raid/Test/ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart
