郴州市网站建设公司,山东最新新闻事件今天,做解决方案的网站,建设银行信用卡网站多少一、GPT4ALL模型
官网地址#xff1a;
Github#xff1a;https://github.com/nomic-ai/gpt4all
GPT4ALL项目部署简易#xff0c;但是在运行体验上一般#xff0c;并且是只调用CPU来进行运算。
看官方文档介绍在嵌入式上有比较大的优势#xff0c;但是目前个人对嵌入式…一、GPT4ALL模型
官网地址
Githubhttps://github.com/nomic-ai/gpt4all
GPT4ALL项目部署简易但是在运行体验上一般并且是只调用CPU来进行运算。
看官方文档介绍在嵌入式上有比较大的优势但是目前个人对嵌入式方向接触不深仅在本机部署使用。
本机配置CPUi5-8400、显卡1060、内存8
二、模型下载
链接https://gpt4all.io/index.html 可以自行选择不同的model类型都有相对应的介绍然后直接下载即可。
model使用相关文档链接https://docs.gpt4all.io/index.html
三、使用过程
安装第三方库pip install gpt4all
运行如下代码
from gpt4all import GPT4All
model GPT4All(rD:\GPT_Model\GPT4All-13B-snoozy.ggmlv3.q4_0, allow_downloadFalse)
while True:str input(Loading Done! Please input: )if str 0:breakoutput model.generate(str)print(output)使用上述代码既可在命令行和模型连续沟通但是体验感不佳可能是因为我自己电脑配置的原因。。
也可以安装界面版相关信息github自行获取。
将陆续更新其他的模型本地部署问就是GPT4ALL不是很好用…
