烟台做网站的价格,免费咨询聊天,北京seo推广公司,专门做网络营销的公司文章目录 昇思MindSpore应用实践ChatGML-6B简介基于MindNLP的ChatGLM-6B StreamChat Reference 昇思MindSpore应用实践
本系列文章主要用于记录昇思25天学习打卡营的学习心得。
ChatGML-6B简介
ChatGLM-6B 是由清华大学和智谱AI联合研发的产品#xff0c;是一个开源的、支持… 文章目录 昇思MindSpore应用实践ChatGML-6B简介基于MindNLP的ChatGLM-6B StreamChat Reference 昇思MindSpore应用实践
本系列文章主要用于记录昇思25天学习打卡营的学习心得。
ChatGML-6B简介
ChatGLM-6B 是由清华大学和智谱AI联合研发的产品是一个开源的、支持中英双语的对话语言模型基于 General Language Model (GLM) 架构具有 62 亿参数。结合模型量化技术用户可以在消费级的显卡上进行本地部署INT4 量化级别下最低只需 6GB 显存。 ChatGLM-6B 使用了和 ChatGPT 相似的技术针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练辅以监督微调、反馈自助、人类反馈强化学习等技术的加持62 亿参数的 ChatGLM-6B 已经能生成相当符合人类偏好的回答。
基于MindNLP的ChatGLM-6B StreamChat
实验步骤 1、导入MindNLP必要的模块 AutoModelForSeq2SeqLM用于自动加载适用于序列到序列任务的预训练模型。 AutoTokenizer用于加载与模型相匹配的预训练分词器用于文本的预处理和后处理。 gradio别名gr一个用于创建交互式机器学习界面的库。 mdtex2html一个Markdown和LaTeX到HTML转换器。
2、导入ChatGLM-6B预训练模型 使用AutoModelForSeq2SeqLM.from_pretrained从指定源加载预训练的ChatGLM-6B大语言模型。
3、导入分词器 使用AutoTokenizer.from_pretrained加载与模型匹配的分词器。 分词器负责将原始文本转换成模型能理解的Token格式通常是数字ID序列并在生成文本后将其转换回可读的文本。
代码示例
from mindnlp.transformers import AutoModelForSeq2SeqLM, AutoTokenizer
import gradio as gr
import mdtex2htmlmodel AutoModelForSeq2SeqLM.from_pretrained(ZhipuAI/ChatGLM-6B, mirrormodelscope).half() # .half()将模型的数据类型转换为半精度浮点数float16
model.set_train(False) # 将模型设置为评估模式关闭训练模式
tokenizer AutoTokenizer.from_pretrained(ZhipuAI/ChatGLM-6B, mirrormodelscope)prompt 有个叫丽丽的人连麦到一个昵称叫李鑫和南方的网友丽丽说你好李鑫就喜欢跟你们南方人聊天你们南方人就是别北方人有点素质不是夸你们呢李鑫回答我是山东人。请问丽丽会怎么回复
history []
response, _ model.chat(tokenizer, prompt, historyhistory, max_length500)
response返回结果 结论大模型就是比丽丽有点素质OK了家人们~
Reference
[1] Github-ChatGLM-6B [2]昇思大模型平台
