网页链接成整体通过网站,跨境电子商务平台,怎么创建wordpress站点,建设银行郑州中心支行网站文章目录 环境准备下载Ollama模型下载下载Open-WebUI 本地化部署的Web图形化界面本地模型联网查询安装 Docker安装 SearXNG本地模型联网查询 环境准备
下载Ollama 下载地址#xff1a;Ollama网址 安装完成后#xff0c;命令行里执行命令
ollama -v查看是否安装成功。安装成… 文章目录 环境准备下载Ollama模型下载下载Open-WebUI 本地化部署的Web图形化界面本地模型联网查询安装 Docker安装 SearXNG本地模型联网查询 环境准备
下载Ollama 下载地址Ollama网址 安装完成后命令行里执行命令
ollama -v查看是否安装成功。安装成功会显示版本信息 ollama 的命令可通过 ollama -h 查看。
模型下载 可以在 Ollama 网站的 Models 里查看公开的大模型网址也可以从大模型镜像源站 HF-Mirror 下载。 以 Ollama 网站为例点进一个大模型如最近大火的 DeepSeek R1 如图右下角的 ollama run deepseek-r1 就是下载命令在第一次执行该命令时ollama 将从网站下载大模型在下载完成后再执行这一命令就会加载模型并进入交互模式 注大部分模型都是有内容审查的这很多时候限制了我们的使用灵活性可以寻找带有 abliterated 后缀的模型这些模型被注释了审查代码。不过本人尝试发现 abliterated 版本的实际上仍存在审查机制会拒绝回答某些问题
下载Open-WebUI 网上其他教程安装 Open-WebUI 一般都是在虚拟机 Docker 下安装的这在 Windows 系统里很不方便。这里提供另外一种方法首先安装 Python 3.11然后在命令行里执行
pip install open-webui即可完成 open-webui 的安装。
本地化部署的Web图形化界面 首先需要开启 Ollama 服务运行一个大模型在命令行里执行
ollama run 大模型名其中模型名可以通过 ollama list 查看。启用 ollama 服务后可以使用
ollama ps命令查看当前运行的模型进程。 随后再打开一个命令行执行如下命令启用 open-webui 服务
open-webui serve启动后可以在浏览器里输入以下地址打开 Web 图形化界面
localhost:8080
(本机IP):8080其中第二个地址可以在局域网内的其他设备访问。 Open-WebUI 的界面如下 本地化部署完成
本地模型联网查询 未联网的情况下很多问题大模型无法解决回答也比较蠢还会胡说因此需要增加联网查询功能。
安装 Docker 安装 Docker Desktop 即可网址 Docker。安装后用以下命令查询是否安装完成
docker -v安装 SearXNG 执行如下命令拉取 SearXNG 一个可以本地部署的轻量化搜索引擎
docker pull searxng/searxng不过这个命令由于网站无法连接下载往往失败可以使用镜像源
docker pull docker.m.daocloud.io/searxng/searxng安装完成后即可在 Docker Desktop 里查看到 SearXNG Image 执行如下命令最后面一串是 Image Name注意要和你的 SearXNG 名字相同将服务开在了端口 12345
docker run -d -p 12345:8080 docker.m.daocloud.io/searxng/searxng随后可以在 Docker Desktop 的 Container/App 界面查看到运行的 SearXNG显示运行在 12345 号端口。在命令行里使用
docker ps命令也可以查看到运行中的 docker 镜像进程。 在浏览器访问 localhost:12345可以看到 SearXNG 服务已开启。 用默认配置的 SearXNG 很可能搜索不到东西可以在配置里修改搜索引擎改成大陆可以访问的那几个。
本地模型联网查询 在 open-webui 界面下用户-管理员面板-设置 里面配置搜索引擎如下并保存设置 此时询问问题联网查询可能会报 403 错误需要修改一个配置文件。执行
docker ps查看 searxng 服务的 CONTAINER ID 号随后执行以下命令命令中的 CONTAINER_ID 替换为你 SearXNG 的 CONTAINER ID
docker exec -it CONTAINER_ID sh进入到镜像目录随后进入 /etc/searxng/ 目录使用 vi 修改 settings.yml 文件在 formats 下面增加一行- json 修改文件后保存然后 restart 容器。 修改 settings.yml 后open-webui 联网查询不再报 403 错误但可能报 Expecting value: line 1 column 1 (char 0) 错误这是因为返回值格式不满足 json 格式导致的解析错误或 RemoteDisconnected(Remote end closed connection without response) 错误笔者目前还没有找到好的解决方法日后若解决了再补上这里。
(U•ェ•*U )
