深圳福田区住房和建设局网站,知道ip域名如何进入网站,免费 成品模板网站,广东深圳龙岗区区号ollama
首先是安装ollama#xff0c;这个非常简单
https://ollama.com/
下载安装即可
open-webui
这个是为了提供一个ui#xff0c;毕竟我们也不想在cmd和模型交互#xff0c;很不方便。
第一#xff0c;需要安装python3.11#xff0c;必须是3.11#xff08;其他版…ollama
首先是安装ollama这个非常简单
https://ollama.com/
下载安装即可
open-webui
这个是为了提供一个ui毕竟我们也不想在cmd和模型交互很不方便。
第一需要安装python3.11必须是3.11其他版本你都安装不上
然后我创建一个虚拟环境来安装open-webui
网络问题
由于众所周知的原因我们需要代理或者换源来解决网络的问题。
open-webui会用到huggingface和openai
针对huggingface我采用国内源
针对openai我采用代理
也许都走的是代理我设置huggingface国内源多此一举
然后我写了一个run.bat来简化工作量
REM 设置 Hugging Face 相关环境变量
set HF_ENDPOINThttps://hf-mirror.com
set HF_HUB_CACHEF:\Model\cache\huggingface\hub
set HF_ASSETS_CACHEF:\Model\cache\huggingface\assets
set HF_TOKEN_PATHF:\Model\cache\huggingface\token
set HF_STORED_TOKENS_PATHF:\Model\cache\huggingface\stored_tokensREM 设置代理
set http_proxyhttp://127.0.0.1:4343
set https_proxyhttp://127.0.0.1:4343
set no_proxylocalhost,127.0.0.1,.localREM 启动 OpenWebUI
open-webui serve启动
1.启动ollama自动运行在11434端口上
2.启动open-webui虚拟环境cmd
3.在cmd执行bat
call run.bat4.open-webui启动成功访问
localhost:8080
然后就可以使用本地的大语言模型了
