网站设计O2O平台佛山总代理,wordpress菜单登录,游戏网站建设的策划方案,百度电话怎么转人工1、服务器环境简介
56核 CPU64G 内存无显卡已安装 Ollama
2、下载模型与配置
正常可以通过 ollama pull 或 ollama run 命令直接下载#xff0c;但通常会遇到连接超时、找不到网址等总理。因此#xff0c;可以使用国内的模型站进行下载#xff0c;在这里使用魔塔查找模型…1、服务器环境简介
56核 CPU64G 内存无显卡已安装 Ollama
2、下载模型与配置
正常可以通过 ollama pull 或 ollama run 命令直接下载但通常会遇到连接超时、找不到网址等总理。因此可以使用国内的模型站进行下载在这里使用魔塔查找模型。
在这里我下载了
DeepSeek-R1-Distill-Qwen-1.5B-GGUF
DeepSeek-R1-Distill-Qwen-7B-GGUF
两个版本
下载后分别创建两个 txt 文件
deepseek-r1-1.5B.txt具体参数可依据使用情况修改
FROM ./DeepSeek-R1-Distill-Qwen-1.5B-Q8_0.gguf
PARAMETER temperature 0.7
PARAMETER top_p 0.95
PARAMETER top_k 40
PARAMETER repeat_penalty 1.1
PARAMETER min_p 0.05
PARAMETER num_ctx 8096
PARAMETER num_thread 4
PARAMETER stop |begin of sentence|
PARAMETER stop |end of sentence|
PARAMETER stop |User|
PARAMETER stop |Assistant|deepseek-r1-7B.txt与1.5B 类似
FROM ./DeepSeek-R1-Distill-Qwen-1.5B-Q8_0.gguf
PARAMETER temperature 0.7
PARAMETER top_p 0.95
PARAMETER top_k 40
PARAMETER repeat_penalty 1.1
PARAMETER min_p 0.05
PARAMETER num_ctx 8096
PARAMETER num_thread 4
PARAMETER stop |begin of sentence|
PARAMETER stop |end of sentence|
PARAMETER stop |User|
PARAMETER stop |Assistant|3、运行命令导入至 ollama
ollama create deepseek-r1:1.5B -f ./deepseek-r1-1.5B.txtollama create deepseek-r1:7B -f ./deepseek-r1-7B.txt
4、运行模型
ollama run deepseek-r1:7B
5、运行测试结论
1.5B能够显示思考过程问答效果不佳胡编乱造内容较多运行较流畅。
7B能够显示思考过程问答效果略好有胡编乱选内容运行响应很慢。
总结这两个模型在这种配置的服务器上均可运行但如果想得到较好的体验这个配置远远不够。
