遵义网站建设制作公司,用我在线网站建设,开发一个功能网站多少钱,游戏科技近年来#xff0c;人工智能#xff08;AI#xff09;领域发展迅猛#xff0c;大语言模型#xff08;LLMs#xff09;为通用人工智能#xff08;AGI#xff09;的发展开辟了道路。OpenAI 的 o1 模型表现非凡#xff0c;它引入的创新性推理时缩放技术显著提升了推理能力…近年来人工智能AI领域发展迅猛大语言模型LLMs为通用人工智能AGI的发展开辟了道路。OpenAI 的 o1 模型表现非凡它引入的创新性推理时缩放技术显著提升了推理能力不过该模型是闭源的。 今天我们深入探讨由 DeepSeek 发布的突破性研究论文该论文介绍了 DeepSeek-R1。这篇题为《DeepSeek-R1通过强化学习激发大语言模型的推理能力》的论文展示了一种前沿的开源推理模型以及使用大规模强化学习技术训练此类模型的详细方法。
回顾大语言模型训练过程 在深入探讨这篇论文之前让我们简要回顾一下大语言模型的训练过程。通常大语言模型要经过三个主要训练阶段
预训练在这个阶段大语言模型在大量文本和代码上进行预训练以学习通用知识。这一步有助于模型熟练预测序列中的下一个标记。例如给定 “write a bedtime _” 这样的输入模型可以用 “story” 等合理的词补全。然而预训练后模型在遵循人类指令方面仍存在困难下一阶段将解决这个问题。监督微调在这个阶段模型在指令数据集上进行微调。数据集中的每个样本都有一个指令 - 响应配对组成其中响应作为标签。经过这个阶段模型在遵循指令方面会表现得更好。强化学习大语言模型利用反馈进一步优化。一种有效的方法是人类反馈强化学习RLHF即根据人类反馈训练模型。但收集大规模、高质量的人类反馈尤其是针对复杂任务颇具挑战。因此另一种常用方法是人工智能反馈强化学习RLAIF由人工智能模型提供反馈。要使 RLAIF 有效工作需要一个能力强大的模型来提供准确反馈。
引入 DeepSeek-R1-Zero 模型 本文所探讨的研究省略或部分省略了监督微调阶段。具体来说为了训练论文中提出的首个模型 DeepSeek-R1-Zero我们从一个名为 DeepSeek-V3-Base 的预训练模型开始它有 6710 亿个参数。监督微调阶段被完全省略。为了大规模进行强化学习研究采用了一种基于规则的强化学习方法而非标准的依靠人类或人工智能反馈的强化学习方式。
基于规则的强化学习 所使用的强化学习方法称为组相对策略优化GRPO由 DeepSeek 内部开发。
给定一个待训练的模型和一个输入问题将输入送入模型会采样得到一组输出。每个输出都包含推理过程和答案。GRPO 方法观察这些采样输出并通过使用预定义规则为每个输出计算奖励来训练模型生成更优的选项
准确性一组规则用于计算准确性奖励。例如对于有确定答案的数学问题我们可以确切检查模型给出的最终答案是否正确。对于有预定义测试用例的代码问题编译器会根据测试用例生成反馈。格式另一类规则用于创建格式奖励。在论文中的下图里我们可以看到模型被要求如何响应其推理过程在标签内答案在标签内。格式奖励确保模型遵循这种格式。 这种基于规则的机制不使用神经模型生成奖励简化并降低了训练过程的成本使其大规模应用成为可能。此外研究人员发现奖励模型可能会受到奖励作弊问题的影响即模型找到一种漏洞或意外方式来最大化奖励但这与预期目标并不相符。
DeepSeek-R1-Zero 性能洞察
现在让我们来探究一下 DeepSeek-R1-Zero 模型的一些性能表现。 在论文中的上表里我们看到了 DeepSeek-R1-Zero 与 OpenAI 的 o1 在推理相关基准测试中的比较。令人印象深刻的是DeepSeek-R1-Zero 与 o1 相当在某些情况下甚至超越了它。论文中下面这张有趣的图展示了在 AIME 数据集上训练期间的改进过程。值得注意的是AIME 上的平均一次通过率大幅提升从最初的 15.6% 跃升至令人惊叹的 71.0%达到了与 OpenAI 的 o1 相当的水平
DeepSeek-R1-Zero 的自我进化过程 论文的一个关键发现是模型的自我进化过程如上图所示。x 轴表示训练步数y 轴表明随着训练的进行模型的响应长度增加。通过强化学习模型在解决推理任务时自然学会分配更多思考时间。令人惊奇的是这一过程无需任何外部调整。
“顿悟时刻” 现象—— Aha Moment
如果上述内容还不够令人称奇论文中还提到了 DeepSeek-R1-Zero 的另一个有趣现象 ——“顿悟时刻”。论文中的以下示例展示了这一现象。给定一道数学题模型开始推理过程。然而在某个时刻模型开始重新评估其解决方案。模型学会重新评估其初始方法并在必要时进行自我纠正。这种非凡的能力在强化学习训练过程中自然显现。
DeepSeek-R1 模型的训练过程
现在我们来讨论第二个模型 DeepSeek-R1 的训练过程。但首先既然我们刚刚看到了 DeepSeek-R1-Zero 卓越的能力为什么还需要第二个模型呢
为什么需要 DeepSeek-R1
主要有两个原因
可读性问题DeepSeek-R1-Zero 的输出往往可读性较差。语言一致性问题它经常在单个回答中混合多种语言。
上述问题使得 DeepSeek-R1-Zero 的用户体验欠佳。有趣的是一项消融研究表明引导模型使用单一语言会略微损害其性能。与通常使用单一语言的人类不同该模型通过使用多种语言能更好地表达自己这一点令人着迷。
DeepSeek-R1 的训练流程
为了解决这些问题DeepSeek-R1 采用四阶段流程进行训练
冷启动阶段 1从预训练模型 DeepSeek-V3-Base 开始模型在从 DeepSeek-R1-Zero 收集的少量结果数据集上进行监督微调。这些结果经过验证质量高且可读性强。这个数据集包含数千个样本规模相对较小。在这个小规模高质量数据集上进行监督微调有助于 DeepSeek-R1 缓解初始模型中存在的可读性问题。推理强化学习阶段 2这个阶段应用与前一个模型相同的大规模强化学习方法以提升模型的推理能力。具体来说在编程、数学、科学和逻辑推理等任务中这些任务有明确的解决方案可为强化学习过程定义奖励规则。拒绝采样和监督微调阶段 3在这个阶段使用阶段 2 的模型检查点生成大量样本。通过拒绝采样只保留正确且可读的样本。此外使用生成式奖励模型 DeepSeek-V3 来决定保留哪些样本。这个阶段还包含了部分 DeepSeek-V3 的训练数据。然后模型在这个数据集上进行监督微调。这个数据集不仅包含推理相关的问题还提升了模型在更多领域的能力。多样化强化学习阶段阶段 4这是最后一个阶段包含多样化的任务。对于像数学这样适用的任务使用基于规则的奖励。对于其他任务由大语言模型提供反馈使模型符合人类偏好。
此外利用阶段 3 构建的数据集对各种较小的开源模型进行了提炼提供了具有高推理能力的较小规模替代模型。
DeepSeek-R1 的显著成果 在本文结尾我们着重介绍一下免费可用的 DeepSeek-R1 与 OpenAI 的 o1 模型相比取得的显著成果。论文中的上图显示DeepSeek-R1 不仅与 o1 相当在某些基准测试中还超越了它。
此外经过提炼的 320 亿参数模型也展现出了令人瞩目的性能使其成为具有高推理能力的可行较小规模替代模型。
参考文献和链接
论文页面: [2501.12948] DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement LearningGitHub 页面GitHub - deepseek-ai/DeepSeek-R1
