如何查询自己的网站是否被收录,怎么看网站开发的好坏,免费制作logo软件,企业网站开发项目策划书以下内容主要参考博文#xff1a;DeepSeek火爆全网#xff0c;官网宕机#xff1f;本地部署一个随便玩「LLM探索」 - 程序设计实验室 - 博客园
安装 ollama
Download Ollama on Linux
curl -fsSL https://ollama.com/install.sh | sh 配置 ollama 监听地址
ollama 安装后…以下内容主要参考博文DeepSeek火爆全网官网宕机本地部署一个随便玩「LLM探索」 - 程序设计实验室 - 博客园
安装 ollama
Download Ollama on Linux
curl -fsSL https://ollama.com/install.sh | sh 配置 ollama 监听地址
ollama 安装后默认监听 127.0.0.1, 为了方便使用要么修改监听地址要么用 SSH 转发这里我选择了修改地址
sudo systemctl edit ollama
它会自动在 /etc/systemd/system/ollama.service.d/override.conf 中存储你添加或修改的配置。
在里面添加配置
[Service]
EnvironmentOLLAMA_HOST0.0.0.0:11434
即可覆盖主服务文件里对 OLLAMA_HOST 的设置其他环境变量如 PATH 等则仍保留主服务文件里的值。 验证
先重启一下
sudo systemctl daemon-reload
sudo systemctl restart ollama
然后执行以下命令验证
sudo systemctl show ollama | grep Environment
你会看到系统最终为该服务设置的所有环境变量。其中如果存在同名变量就会以最后写入即 override 配置的值为准。 安装deepseek-r1模型
搜索模型
Ollama
目前最火的 DeepSeek-R1 排在显眼位置
我的电脑配置是CPUInteli9-13900KF×32内存31.2 GiB显卡RTX 408016GiB我选了 14b 的模型
可以根据显存选择合适的模型如下所示
模型版本参数量模型大小显卡CPU内存磁盘1.5B15亿1.1 GB4GB 显存如 GTX 16504核以上推荐 Intel/AMD 多核处理器8GB3GB 存储空间7B70亿4.7 GB8GB 显存如 RTX 3070/40608核以上推荐现代多核 CPU16GB8GB 存储空间8B80亿4.9 GB8GB 显存如 RTX 3070/40608核以上推荐现代多核 CPU16GB8GB 存储空间14B140亿9.0 GB16GB 显存如 RTX 4080 或 A500012核以上32GB15GB 存储空间32B320亿20 GB24GB 显存如 A100 40GB 或双卡 RTX 309016核以上如 AMD Ryzen 9 或 Intel i964GB30GB 存储空间70B700亿43 GB多卡并行如 2x A100 80GB 或 4x RTX 409032核以上服务器级 CPU128GB70GB 存储空间671B6710亿404 GB多节点分布式训练如 8x A100/H10064核以上服务器集群512GB500GB 存储空间 安装
接着执行命令
ollama run deepseek-r1:14b
开始下载14b 的模型大小是 9GB 使用
在命令行可以直接使用比如输入“你好”
ollama run deepseek-r1:14b
你好
think
/think
你好很高兴见到你有什么我可以帮忙的吗
Send a message (/? for help)
或者使用ollma的api进行访问
curl http://192.168.106.154:11434/api/generate -d {model: deepseek-r1:14b,prompt: 你好,stream:false} response.json
这里返回的是json格式的字符串我把回答保存为response.json文件
{context: [151644,108386,151645,151648,271,151649,271,108386,6313,112169,104639,56568,3837,104139,109944,106128,9370,101037,11319],created_at: 2025-02-05T05:54:20.914913948Z,done: true,done_reason: stop,eval_count: 17,eval_duration: 309000000,load_duration: 20280119,model: deepseek-r1:14b,prompt_eval_count: 4,prompt_eval_duration: 23000000,response: \u003cthink\u003e\n\n\u003c/think\u003e\n\n你好很高兴见到你有什么我可以帮忙的吗,total_duration: 354561241
}
其他更具体的api调用方式可以查询ollma官方文档https://github.com/ollama/ollama/blob/main/docs/api.md 安装 Open WebUI
GitHub - open-webui/open-webui: User-friendly AI Interface (Supports Ollama, OpenAI API, ...)
pip 安装
conda create -n open-webui python3.11
切换环境
conda activate open-webui
安装
pip install open-webui
启动
open-webui serve docker启动Open WebUI
docker命令启动
docker run -d -p 3000:8080 \
--add-hosthost.docker.internal:host-gateway \
--add-hostapi.openai.com:127.0.0.1 \
-v ollama:/root/.ollama \
-v open-webui:/app/backend/data \
--name open-webui \
--restart always \
ghcr.io/open-webui/open-webui:main
这里需要另外添加--add-hostapi.openai.com:127.0.0.1避免出现“openwebui登陆进入之后很长一段时间才能看到界面”
可能可能需要添加-v ollama:/root/.ollama不然进去后会发现找不到模型 关闭容器
docker ps -a
docker stop open-webui
docker rm open-webui
docker volume rm open-webui 内网访问
查看电脑的局域网ip
ifconfig 使用http://ip:port进行访问
http://192.168.106.154:3000
这里的3000就是将本地的端口3000映射到docker容器的8080容器内部会通过host.docker.internal访问ollama的接口 后续如果建立内网穿刺就可以在外网访问啦
