做论文常用网站,社区类网站建设的例子,外贸专业网站建设,重庆建站公司费用LLM全称#xff08;large language model#xff09;也就是大语言模型
什么是Ollama#xff0c;它与Llama是什么关系#xff1f;
Ollama是一个开源的 LLM#xff08;大型语言模型#xff09;服务工具#xff0c;用于简化在本地运行大语言模型#xff0c;降低使用大语…LLM全称large language model也就是大语言模型
什么是Ollama它与Llama是什么关系
Ollama是一个开源的 LLM大型语言模型服务工具用于简化在本地运行大语言模型降低使用大语言模型的门槛使得大模型的开发者、研究人员和爱好者能够在本地环境快速实验、管理和部署最新大语言模型包括如Llama 3、Phi 3、Mistral、Gemma等开源的大型语言模型。
Ollama目前支持以下大语言模型library
因此Ollama与Llama的关系Llama是大语言模型而Ollama是大语言模型不限于Llama模型便捷的管理和运维工具
那么我们如何在本地部署这个大模型呢
首先我们需要到ollama官网下载然后在命令窗中输入一些ollama的命令
ollama只是个工具那怎么跑我们想要的大模型呢
下载模型
Ollama可以直接下载内置的几种模型但选择有限。我们更希望从HuggingFace下载以便方便地评估各种模型所以这里我们并不从Ollama直接下载而是从HuggingFace下载。
在HuggingFace搜索llama3设置Languages为Chinese可以看到若干基于LLaMa3的中文模型我们选择一个GGUF格式的模型GGUF格式是llama.cpp团队搞的一种模型存储格式一个模型就是一个文件方便下载与运行。
点击Files可以看到若干GGUF文件其中q越大说明模型质量越高同时文件也更大我们选择q6直接点击下载按钮把这个模型文件下载到本地。
导入模型
下载到本地的模型文件不能直接导入到Ollama需要编写一个配置文件随便起个名字如config.txt配置文件内容如下
FROM /Users/liaoxuefeng/llm/llama3-8b-cn-q6/Llama3-8B-Chinese-Chat.q6_k.GGUFTEMPLATE {{- if .System }}
|im_start|system {{ .System }}|im_end|
{{- end }}
|im_start|user
{{ .Prompt }}|im_end|
|im_start|assistant
SYSTEM PARAMETER stop |im_start|
PARAMETER stop |im_end|第一行FROM ...指定了模型文件路径需要修改为实际路径后面的模板内容是网上复制的无需改动。
然后使用以下命令导入模型
$ ollama create llama3-cn -f ./config.txtllama3-cn是我们给模型起的名字成功导入后可以用list命令查看
$ ollama list
NAME ID SIZE MODIFIED
llama3-cn:latest f3fa01629cab 6.6 GB 2 minutes ago可以下载多个模型给每个模型写一个配置文件仅需修改路径导入时起不同的名字我们就可以用Ollama方便地运行各种模型。
运行模型
使用Ollama的run命令可以直接运行模型。我们输入命令ollama run llama3-cn就可以将我们制定的模型运行起来
出现提示符时就可以输入问题与模型交互。输入/exit退出。
搭建Web环境
使用命令行交互不是很方便所以我们需要另一个开源的Open WebUI搭建一个能通过浏览器访问的界面。
运行Open WebUI最简单的方式是直接以Docker运行。我们安装Docker Desktop输入以下命令启动Open WebUI
$ docker run -p 8080:8080 -e OLLAMA_BASE_URLhttp://host.docker.internal:11434 --name open-webui --restart always -v open-webui-data:/app/backend/data ghcr.io/open-webui/open-webui:main参数-p 8080:8080将Open WebUI的端口映射到本机。参数-e OLLAMA_BASE_URLhttp://host.docker.internal:11434告诉Open WebUI通过本机的11434访问Ollama注意地址必须写host.docker.internal不能写127.0.0.1。
打开浏览器我们就可以访问http://127.0.0.1:8080第一次访问需要注册注册和登录是完全基于本地环境的登录后就可以看到类似GPT的UI。
我们在聊天界面点击右上角配置按钮点击Connections点击刷新按钮如果一切无误会显示Server connection verified
在聊天界面的顶部选择一个模型就可以愉快地开始和LLaMa3聊天了
API
Open WebUI还提供了与OpenAI类似的API使用前先点击设置 - Account生成一个API Key然后在命令行用curl测试
$ curl -X POST -H Authorization: Bearer sk-959c8b27a48145bfb83bdb396ff3eeae -H Content-Type: application/json http://localhost:8080/ollama/api/generate -d {model:llama3-cn:latest,stream:false,prompt:讲讲llama50字}{model:llama3-cn:latest,created_at:2024-05-01T14:42:28.009353Z,response:Llama是一个基于指令跟随的多模态大型语言模型由Meta AI发布。它能够处理文本、图像等多种输入并生成相应的输出。由于模型是运行在本地Open WebUI也将数据存储在本地所以隐私性可谓拉满。如果对一个模型不满意还可以从HuggingFace下载更多的模型来评估非常方便。
