深圳 学习网站,浙江建设厅继续教育网站,html网页嵌入视频代码,网站后台设计培训学校之前写过一篇 【AI知识】了解两类最主流AI任务中的目标函数#xff0c;介绍了AI最常见的两类任务【分类、回归】的基础损失函数【交叉熵、均方差】#xff0c;以初步了解AI的训练目标。 本篇更进一步#xff0c;聊一聊流行的“文生图”、“聊天机器人ChatGPT”模型中的目标函…之前写过一篇 【AI知识】了解两类最主流AI任务中的目标函数介绍了AI最常见的两类任务【分类、回归】的基础损失函数【交叉熵、均方差】以初步了解AI的训练目标。 本篇更进一步聊一聊流行的“文生图”、“聊天机器人ChatGPT”模型中的目标函数。 0、提纲
如何衡量“文生图”效果ChatGPT如何奖励好的回答小结与番外
1、如何衡量“文生图”效果
“文生图”工具大家肯定很熟悉了仅凭一段文字就能收获一些不错的图片实乃辅助创意工作的利器。
类似Midjourney、DALL-E、Stable Diffusion、FLUX.1等优秀的“文生图”应用在训练中势必要重点关注“如何衡量推测分布生成的图像与实际分布原始的图像的差距”。
“文生图”的大概过程
“文生图”算法大多基于扩散模型Diffusion Model,以主流开源的Stable Diffusion为例架构如下 扩散模型的大体过程分为训练 采样两个阶段
1、训练阶段前向加噪不断给原始样本图片加入高斯噪声再训练“UNetModel模型”来预估噪声。
2、采样阶段逆向去噪也就是我们输入文本提示词产出图像的阶段。过程中需要使用训练好的“UNetModel模型”不断迭代去噪所有使用过程中往往需要等待好几秒。
另外提示词文本Prompt会经CLIP类的多模态模型在两个阶段均喂给“UNetModel模型”以理解文本上下文意图。
此处不关注其它复杂的细节单看如何评估生成数据与真实数据之间的差异这里会引入【KL散度】。 KL散度Kullback-Leibler Divergence也叫相对熵表示使用预测分布Q(X) 来近似真实分布 P(X) 时所需的额外信息量也就是预测结果相比于真实情况的信息丢失量。如果相对熵的值较大说明预测分布与真实分布之间的差异较大使用预测分布编码真实数据时会产生更多的信息损失反之如果相对熵接近于零则表示两个分布非常相似。
在扩散模型中【损失函数 重构损失 KL散度】。
此处的重构损失正是之前介绍的“MSE均方误差”用于评估生成结果与真实样本之间的相似性而KL散度则作为正则化项鼓励模型学习到的分布接近先验真实分布。
熵、交叉熵、相对熵(KL散度)
熵、交叉熵和相对熵是信息论中的重要概念。简单理解一下
熵衡量随机变量的不确定性熵越大表示系统的不确定性越高越混乱。交叉熵衡量在真实分布下使用推测分布所需的平均编码长度反映模型预测与真实分布之间的差异。相对熵KL散度衡量一个分布相对于另一个分布的信息损失越小表示两个分布越接近。
一个具体的例子掷六面骰子 2、ChatGPT如何奖励好的回答
ChatGPT的来历
OpenAI于2022年11月30日推出聊天机器人ChatGPT推动了当下这一波AI浪潮。
其实早在2018年6月第一代GPT(Generative Pre-trained Transformer)就问世了其核心理念是无监督地学习大量文本约40G网页、维基百科、书籍等来源用Transformer-Decoder来完成“词语接龙”。在【AI实践】个人免费数学老师系列之二自动切题【目标检测】中介绍了Transformer的架构感兴趣的朋友可以看看。GPT1的效果一般不如Google同时期推出的基于Transformer的BERT完成类似“完形填空”。但GPT类似“词语接龙”的方式天然适合AIGC生成式的任务。而GPT2、3探究了NLP中全新的“预训练、提示、预测”的通用任务处理范式让模型具备根据用户提示词Prompt直接完成各种各样任务的通用能力开启通往AGI之路。而以往一般都需要根据具体任务在预训练模型基础上进行微调fine-tune。GPT3.5含InstructGPT、公开发表过论文开始引入“基于人类反馈的指令学习”其思路如下 结合上面两张图InstructGPT的训练分为三个阶段
1、利用人工编写的问答数据约13k、“问题-答案”对去对GPT3进行有监督训练出SFT模型(Supervised fine-tuning监督微调)。【为了对齐人类的直觉重走监督微调的老路】
2、基于人类偏好排序的数据约33k、针对具体问题的4-9个候选答案进行人工排序训练一个奖励模型Reword Model 。【将直接打分转化为排序、消除一定的主观差异 】
3、最终在最大化奖励的目标下通过PPO算法来优化策略。【用强化学习模型模仿人工进行更多结果的优劣排序进一步优化结果】
ChatGPT正是延续GPT3.5的路线继续发展壮大而生而GPT4则进一步扩展了多模态的能力能理解图片了。【AI实践】个人免费数学老师系列之三题目识别【OCR2.0】中介绍了多模态的破圈之作CLIP模型。
奖励模型中的目标函数
喂给SFT模型一个问题文本得到4个回答A、B、C、D人类标注员进行排序DCAB。问题来了怎么让奖励模型吸收这个排序偏好信息呢
可以将4个语句两两组合成6个比较对比如DA分别计算loss再相加取均值这就是“成对排序损失Pairwise Ranking Loss”公式如下 其中K为待排序的回答数比如4x为问题文本回答y_w比回答y_l更优两个y为一对pairwiser_θ(x,y)为给奖励模型输入问答对x、y之后输出的标量得分Logistic函数呈S形指数增长而σ函数也为单调递增的sigmoid 函数σ(r_θ(x,y_w)−r_θ(x,y_l))越接近 1表示y_w比y_l排序高。 综上训练奖励模型正是为了最大化r_θ(x,y_w)−r_θ(x,y_l)【从而印证回答y_w比回答y_l更优】即最小化上述损失函数loss(θ)。
3、小结与番外
本篇通俗讲述“文生图”、聊天机器人背后的大致原理重点阐述衡量生成结果与真实情况之间分布差异的KL散度相对熵、评估排序信息的成对排序损失Pairwise Ranking Loss两种任务类型的目标函数。
番外
最近在细读尤瓦尔·赫拉利的《人类简史从动物到上帝》有个观点角度够新颖
现代科学与先前的知识体系有三大不同之处
1、愿意承认自己的无知。我们承认了自己并非无所不知。更重要的是我们也愿意在知识进展之后承认过去相信的可能是错的。于是再也没有什么概念、想法或者理论是神圣不可挑战的。
2、以观察和数学为中心。承认无知之后现代科学还希望能获得新知。方式则是通过收集各种观察值再用数学工具整理连接形成全面的理论。
3、取得新能力。光是创造理论对现代科学来说还不够。它希望能够运用这些理论来取得新的能力特别是发展出新的科技。
