网站订单模板,企业建设网站的资金策划,wordpress 安装 2 500,沈阳视频制作公司DeepSeek
v1版本
模型结构 DeepSeek LLM基本上遵循LLaMA的设计#xff1a;
采⽤Pre-Norm结构#xff0c;并使⽤RMSNorm函数.
利⽤SwiGLU作为Feed-Forward Network#xff08;FFN#xff09;的激活函数#xff0c;中间层维度为8/3. 去除绝对位置编码#xff0c;采⽤了…DeepSeek
v1版本
模型结构 DeepSeek LLM基本上遵循LLaMA的设计
采⽤Pre-Norm结构并使⽤RMSNorm函数.
利⽤SwiGLU作为Feed-Forward NetworkFFN的激活函数中间层维度为8/3. 去除绝对位置编码采⽤了RoPE旋转位置编码。
为了优化推理成本. 67B模型使⽤分组查询注意⼒GQA⽽不是传统的多头注意⼒MHA. 超参数设置
优化器采⽤adamW优化器 β10.9, β20.95 ,weight_decay为0.1。
学习率策略与Llama使⽤余弦学习率调度器不同其采⽤的是多阶段学习率调度器。该策略通过 “预热-稳态-分阶衰减” 的耦合设计兼顾训练稳定性、收敛效率与泛化性能。 预热阶段02000步 学习率从较⼩初始值线性增⻓⾄峰值如3e-4通过渐进 式升温避免训练初期因梯度剧烈波动导致的权重震荡为模型提供稳定的初始化环境。 稳定收敛阶段2000步后⾄总训练token的80% 学习率保持峰值恒定使模型在核 ⼼训练周期内充分利⽤⾼学习率的快速收敛能⼒同时配合梯度截断clip1.0 约束 梯度幅值防⽌梯度爆炸并提升训练稳定性。 分步退⽕阶段总训练token的80%100% 第⼀阶段退⽕80%90% token学习率从峰值线性降⾄31.6%如3e-4 → 9.48e-5开始细化模型权重 第⼆阶段退⽕90%100% token学习率进⼀步降⾄峰值的10%如9.48e 5 → 3e-5通过低速微调抑制过拟合⻛险促使模型收敛⾄更平坦的极⼩值区 域。 其他
作者还对DeepSeek LLM基础模型进⾏了SFT和直接偏好优化DPO从⽽创建了DeepSeek Chat模 型。与GPT-3.5相⽐DeepSeek LLM 67B Chat表现出更优越的性能。
DeepSeek Math DeepSeekMath可以被看作是使⽤与DeepSeek LLM相同的模型架构通过两阶段训练逐步优化⽽来的模型是专注于数学推理任务的模型。 第⼀阶段在特定的数据集上使⽤DeepSeek LLM相同的模型架构进⾏预训练得到专注于代码⽣ 成与理解的DeepSeek-Coder-Base-v1.5
第⼆阶段在DeepSeek-Coder-Base-v1.5基础上进⼀步对与数学相关的任务和数据进⾏专⻔的 预训练和微调例如⾼等数学、数学证明、符号计算等。这个过程中模型可能会结合代码与 数学推理能⼒使其在处理数学公式、复杂计算和逻辑推理任务上表现更优。DeepSeekMath的 创新在于强化学习阶段引⼊了Group Relative Policy Optimization (GRPO) 算法进⼀步提升了多 任务处理和推理能⼒。
PPO
SFT
在有标注的数据上进行模型的微调使得模型适应特定的任务即构建SFT模型
①数据收集: 选择一个问题列表, 标注人员按要求写下预期的输出. 可用于调优预训练的语言模型.
②模型选择: 基线模型是最新版的 text-davinci-003通过对程序代码调优的 GPT-3 模型
由于此步骤的数据量有限, 该过程获得的 SFT 模型可能会输出仍然并非用户关注的文本, 并且通常会出现不一致问题.
为了克服这个问题, 使用的策略是让人工标注者对 SFT 模型的不同输出进行排序我们关注哪个输出是最好的进而提出 RM 模型, 而不是让人工标注者创建一个更大的精选数据集.
RM
构建判断SFT模型的输出是否满足人类预期的奖励模型
选择问题列表, SFT 模型为每个问题生成多个输出4 到 9 之间的任意值
标注者将输出从最佳到最差排序. 结果是一个新的标签数据集, 该数据集的大小大约是用于 SFT 模型的精确数据集的 10 倍
此新数据用于训练 RM 模型 . 该模型将 SFT 模型输出作为输入, 并按优先顺序对它们进行排序.
模型选择: RM模型是GPT-3的蒸馏版本参数量为6亿, 目的是通过该训练模型得到一个预测值得分, 模型损失函数为下图表示: PPO
用SFT模型初始化参考模型防止模型训歪和Action模型最后需要的模型用于生成符合人类预期内容的模型用RM模型初始化奖励模型当前状态下做出动作后的奖励和Critic模型做出当前动作后下一步可能获得的奖励并切在奖励中增加优势包含当前优势和下一步优势中路走野区支援上路原本可以收割一个人头但实际收割了两个多出的人头就是优势
在训练过程中冻结参考模型和奖励模型的参数只更新Action模型和Critic模型的参数
GRPO
对比PPOGRPO去除了Critic模型对于同⼀个 prompt 采 G 个答案平均 G 个答案的得分当作 baseline
GRPO⽅法主要包含以下五个步骤
采样对于每个问题GRPO从旧策略模型中采样⼀组输出。
奖励计算使⽤奖励模型为每个采样输出打分得到⼀组奖励。
基线估计将这些奖励进⾏归⼀化处理减去组平均值除以组标准差然后使⽤归⼀化的奖励 作为基线。
优化⽬标GRPO通过最⼤化⼀个包含相对优势的优化⽬标函数来更新策略模型。相对优势是指在 同⼀组中各个输出相对于基线的优势。
迭代训练GRPO可以进⾏迭代训练其中奖励模型会根据策略模型的新采样结果不断更新以提 供更准确的训练信号。 DeepSeekV2
在 DeepSeek 67B的基础上DeepSeek-V2 对模型进⾏了进⼀步优化在注意⼒机制模块和FFN上设 计并采⽤了创新的架构。 注意⼒模块采⽤MLA减少了推理过程中的KV Cache提⾼了推理效率。可以容纳更⼤的batch和 更⻓的句⼦。 采⽤了sparse MOE结构模型的训练效率更⾼。
MLA
GQA和MQA的实现⽅式在于直接减少需要存储的Key和ValueKey和Value都不再是【多头】。 GQA通过Group的⽅式多个Query组成⼀个Group对应⼀个Key和ValueMQA直接由多个head 的Key和Value变为单个Key和Value即多头的维度只保留在Query中。
MLA采⽤了另外⼀种思路类似于LORA的低秩转换的思路不再直接减少Cache的Key和Value的 数量⽽是通过【低秩】转换为⼀个压缩的KV存储的KV的维度显著减⼩。同时在计算注意⼒ 时通过projection的⽅式获取多头的Key和Value保留了多头的注意⼒计算⽅式。
MLA相⽐MQA和GQA在明显降低缓存的同时效果相⽐MHA还更好。MQA和GQA相⽐MHA虽然 降低了KV Cache但效果不如MHA。 MOE 细粒度专家分割Fine-Grained Expert Segmentation通过将每个FFN专家进⼀步细分这 允许模型在保持参数总数不变的情况下激活更多的、更细粒度的专家。这种策略使得各个专家能 够专注于更细致的知识领域提⾼了专家的专业化程度。通过将FFN中间隐藏维度减少到原来⼤ ⼩的1/m将每个专家FFN分割为m个更⼩的专家。 共享专家隔离Shared Expert Isolation设置⼀部分专家作为“共享专家”这些专家总是被 激活⽤于捕捉和整合常⻅的跨上下⽂知识。这样可以减少路由专家之间的知识冗余每个路由专 家可以更专注于独特的知识领域。
改进传统的MOE存在的知识杂糅和知识冗余的问题 知识杂糅Knowledge Hybridity传统的MoE模型中每个专家往往需要处理多种类型的知 识这使得专家难以形成专⻔化的知识结构。 知识冗余Knowledge Redundancy不同的专家在处理不同的输⼊时可能需要相同的知识 导致多个专家中存在重复的知识浪费了模型参数。 DeepSeekV3
无辅助损失的负载均衡策略
⽆辅助损失的负载均衡策略相对⽐较简单就是进⾏TopK运算的时候添加了⼀个额外的偏置项 来调节路由专家被选择到的概率 Multi-Token Prediction 举例
一个序列有10个token主模型由前3个token1,2,3预测第4个token(2,3,4)在预测时将经过解码器层后的输出和第一个MTP的输入(2,3,4)经过embedding后的结果拼接送入预测(3, 4, 5)以此类推直到预测到最后一个token 这⾥的训练损失就是预测的token序列和真实token序列的[交叉熵]损失;以上策略是⽤来提升主模 型的性能的也就是说所有的MTP块是不参与推理的所以在推理时⼤模型做的仍然是⼀个 Next-token Prediction的⼯作且只有主模型在⼯作。 DeepSeekR1
冷启动与DeepSeek - R1 - Zero不同DeepSeek - R1构建并收集少量⻓思维链CoT数据对 DeepSeek - V3 - Base模型进⾏微调作为RL的初始阶段。这些冷启动数据格式更具可读性包含 推理过程总结基于⼈类先验知识设计模式相⽐DeepSeek - R1 - Zero表现更优。
推理导向的强化学习在冷启动微调后的模型上采⽤与DeepSeek - R1 - Zero相同的⼤规模RL训 练过程。针对语⾔混合问题引⼊语⾔⼀致性奖励将推理任务准确性和语⾔⼀致性奖励结合优 化模型表现使其更符合⼈类偏好。
拒绝采样和监督微调推理导向的RL收敛后利⽤模型检查点收集监督微调SFT数据。推理数 据通过拒绝采样⽣成扩⼤数据集并纳⼊⽣成式奖励模型评估的数据同时过滤掉混乱和不可读的 输出。⾮推理数据复⽤DeepSeek - V3的部分SFT数据集涵盖写作、事实问答等领域。⽤约800k 样本对模型进⾏两个epoch的微调。 LLM 的拒绝采样操作起来⾮常简单让⾃⼰的模型针对 prompt ⽣成多个候选 response 然后⽤ reward_model筛选出来⾼质量的 response 也可以是 pair 对拿来再次进⾏训 练。 全场景强化学习为使模型更符合⼈类偏好进⾏⼆次RL。推理数据采⽤基于规则的奖励通⽤ 数据使⽤奖励模型捕捉⼈类偏好。分别从最终总结和整个响应评估模型的有⽤性和⽆害性确保模 型在推理能⼒提升的同时更安全、更实⽤。 总结 初始阶段采⽤数千个⾼品质样本进⾏监督式微调 针对推理任务进⾏强化学习 通过拒绝抽样⽅法收集新的训练数据 对所有类型的任务进⾏最终强化学习
