网站无障碍建设规定,网站建设的实际价值,东莞网站建设效果,wordpress 调用当前分类名称1、原理#xff1a;
架构#xff1a;chatGPT是一种基于转移学习的大型语言模型#xff0c;它使用GPT-3.2 #xff08;Generative PretrainedTransformer2#xff09;模型的技术#xff0c;使用了transformer的架构#xff0c;并进行了进一步的训练和优化。InstructGPT/…
1、原理
架构chatGPT是一种基于转移学习的大型语言模型它使用GPT-3.2 Generative PretrainedTransformer2模型的技术使用了transformer的架构并进行了进一步的训练和优化。InstructGPT/GPT3.5ChatGPT的前身与GPT-3的主要区别在于新加入了被称为RLHFReinforcement Learning from Human Feedback人类反馈强化学习。这一训练范式增强了人类对模型输出结果的调节并且对结果进行了更具理解性的排序。
训练过程
第一阶段训练监督策略模型
GPT 3.5本身很难理解人类不同类型指令中蕴含的不同意图也很难判断生成内容是否是高质量的结果。为了让GPT 3.5初步具备理解指令的意图首先会在数据集中随机抽取问题由人类标注人员给出高质量答案然后用这些人工标注好的数据来微调 GPT-3.5模型获得SFT模型, Supervised Fine-Tuning。此时的SFT模型在遵循指令/对话方面已经优于 GPT-3但不一定符合人类偏好。
第二阶段训练奖励模型Reward ModeRM
这个阶段的主要是通过人工标注训练数据约33K个数据来训练回报模型。在数据集中随机抽取问题使用第一阶段生成的模型对于每个问题生成多个不同的回答。人类标注者对这些结果综合考虑给出排名顺序。这一过程类似于教练或老师辅导。
接下来使用这个排序结果数据来训练奖励模型。对多个排序结果两两组合形成多个训练数据对。RM模型接受一个输入给出评价回答质量的分数。这样对于一对训练数据调节参数使得高质量回答的打分比低质量的打分要高。
第三阶段采用PPOProximal Policy Optimization近端策略优化强化学习来优化策略。
PPO的核心思路在于将Policy Gradient中On-policy的训练过程转化为Off-policy即将在线学习转化为离线学习这个转化过程被称之为Importance Sampling。这一阶段利用第二阶段训练好的奖励模型靠奖励打分来更新预训练模型参数。在数据集中随机抽取问题使用PPO模型生成回答并用上一阶段训练好的RM模型给出质量分数。把回报分数依次传递由此产生策略梯度通过强化学习的方式以更新PPO模型参数。
如果我们不断重复第二和第三阶段通过迭代会训练出更高质量的ChatGPT模型。 2、成本
训练通用大模型非常“烧钱”。据国盛证券报告《ChatGPT需要多少算力》估算GPT-3训练一次的成本约为140万美元对于一些更大的LLM大型语言模型训练成本介于200万美元至1200万美元之间。以ChatGPT在1月的独立访客平均数1300万计算其对应芯片需求为3万多片英伟达A100 GPU初始投入成本约为8亿美元每日电费在5万美元左右。
更直观地理解如果将当前的ChatGPT部署到谷歌进行的每次搜索中需要 512820.51台A100 HGX服务器和总共4102568个A100 GPU这些服务器和网络的总成本仅资本支出就超过1000亿美元。
“大模型的训练和推理成本一直以来是AI产业发展的瓶颈因此具有大模型构建能力的企业往往是世界科技巨头。这会形成强大的护城河造成强者恒强的局面。”法国里昂商学院人工智能管理学院AIM院长、全球商业智能中心BIC主任龚业明。
OpenAI正在一个从GPT3.5到GPT4.0的发展过程中。如果要彻底达到ChatGPT的水平在短期内是不太可能的语料库的建立人工标注算法的训练都需要时间。市场肯定会出现一批这样的所谓的GPT复制品但要达到真正实用需要2-3年那时候OpenAI又进步了。 3、难以追赶的原因
从技术角度来看国内的AI领域在基础理论、算法研究、语料库以及技术人才方面相对滞后。
第一就语料库而言语料库的构建和获取也许不是特别费劲但是语料的标注与理解工作比较繁复。目前有很多人工智能专家还认为中文语料质量会影响国产大模型的发展。语言学的长期研究告诉我们语料库的构建最好不能只局限于简体中文语料库要能理解多种语言才能构建一流的中文语料库。所以不要认为靠人海战术和低人力成本建一个简中语料库就能解决语言学问题。
第二是算法。GPT对算法的要求特别高。算法要能容纳和分析大数据个别国产大语言模型出现了过载问题就是算法处理不了更大的数据或增加了数据后服务质量没提高。
第三是运算量。GPT需要高端显卡和高端芯片。在目前的国际环境中并不是所有我国企业能获取足量的高端显卡和高端芯片。同时运算量也要求较高的投资。诚然很多国内厂商对ChatGPT有兴趣但是他们的兴趣点也很多跟风投机性强无法像openAI那样全力以赴意志坚定。
第四是技术人才。从商业模式角度分析国内缺乏明确的前瞻性生态与商业布局。现在出现了ChatGPT这样的产品国内也会出现很多的公司、机构但在技术路径的复制上面由于缺乏基础模型积累和大量的训练数据来源所以复制难度较大。OpenAI在很多年前就理解了GPT的价值我们到现在别人已经做出来才知道该这样发展才理解其中的商业价值就慢了点。 未来研究方向
虽然ChatGPT很强大但其模型大小和使用成本也让很多人望而却步。有三类模型压缩model compression可以降低模型的大小和成本。
第一种方法是量化quantization即降低单个权重的数值表示的精度。比如Tansformer从FP32降到INT8对其精度影响不大。
第二种模型压缩方法是剪枝pruning即删除网络元素包括从单个权重非结构化剪枝到更高粒度的组件如权重矩阵的通道。这种方法在视觉和较小规模的语言模型中有效。
第三种模型压缩方法是稀疏化。例如奥地利科学技术研究所 (ISTA)提出的SparseGPT 可以将 GPT 系列模型单次剪枝到 50% 的稀疏性而无需任何重新训练。对 GPT-175B 模型只需要使用单个 GPU 在几个小时内就能实现这种剪枝。 AIs Future, 可能的变革
下游相关受益应用来看包括但不限于无代码编程、小说生成、对话类搜索引擎、语音陪伴、语音工作助手、对话虚拟人、人工智能客服、机器翻译、芯片设计等。从上游增加需求来看包括算力芯片、数据标注、自然语言处理NLP)等。
