菏泽企业网站建设,网站梦打开又提示无法访问,影响网站建设价格的因素有,松岗网站开发个人的一些思考#xff0c;请大家批评指正。
这个问题#xff0c;首先当然是在恰当的时间出现#xff0c;模型性能跻身世界一流#xff0c;又开源#xff0c;戳破了OpenAI和英伟达潜心构造的叙事逻辑。
DeepSeek为什么强#xff1f;四个方面#xff1a;模型的智能水平…个人的一些思考请大家批评指正。
这个问题首先当然是在恰当的时间出现模型性能跻身世界一流又开源戳破了OpenAI和英伟达潜心构造的叙事逻辑。
DeepSeek为什么强四个方面模型的智能水平、训练成本、推理成本和用户体验。
一、DeepSeek的智能水平
DeepSeek V3的智能水平技术报告展现的性能对比图 是什么导致了DeepSeek的模型性能是模型架构吗MoE、MLA这些或许有一点关系但是应该不是主要因素决定模型性能的主要应该是DeepSeek没有开源的内容——数据集以及训练时的数据配比。
去年看到OpenAI的一名员工的博客内容摘录如下 数据即模型来自 OpenAI 模型炼丹师的 insight人脑也是一样其思想无限逼近于其接收到的信息你灌输什么他就呈现什么
作者在 OpenAI 工作近一年观察到生成模型的训练过程显示模型行为主要由数据集决定而非架构、超参数或优化器选择。 Key Points 作者训练了大量生成模型 观察到所有训练运行之间存在相似性 模型高度逼近其数据集学习到的不仅是狗或猫的概念还有不重要的分布间隙 在相同数据集上训练足够长时间任何具有足够权重和训练时间的模型都会收敛到相同点 大型扩散卷积网络和 ViT 生成器会生成相同的图像 自回归采样和扩散方法也会生成相同的图像 这表明模型行为不由架构、超参数或优化器选择决定而是由数据集决定 其他因素只是有效地将计算交付给逼近数据集的手段 当提到“Lambda”、“ChatGPT”、“Bard”或“Claude”时指的是数据集而不是模型权重。 LLM预训练scaling law的发展一开始强调模型要大然后是数据要多再后来就是强调数据的质量。数据质量方面一方面是强调数据质量通过专家撰写高质量数据、以及各种数据筛选方法和工具保证数据质量是第一位的第二方面不断增加数学、逻辑、代码等能够提升大模型理性能力的数据配比比例尤其在模型训练退火阶段调整数据混合配比增加高质量数据等等。
总之我的猜测DeepSeek V3的性能好主要是因为数据集的原因。
DeepSeek R1的性能好首先来源于DeepSeek V3底座模型的能力够其次是DeepSeek R1成功摸索了一套RL方法另外推理成本低也会导致推理的性能增强。
二、DeepSeek的训练成本和推理成本
DeepSeek V3的训练成本那个600万美金从一开始我的观点就是听听得了只是成功训练一次的成本不包括数据集、探索以及人力成本。AI这个事可能最费劲的是数据集相比数据训练应该在其次。当然不可否认DeepSeek的训练成本确实低这个确实是因为模型架构、以及训练方法。DeepSeek的训练成本低主要是MoE和训练的低精度技术。MLA并不降低训练成本只是推理成本低。模型的MTP主要作用是训练更加稳定当然训练稳定了训练成本也会更低细看DeepSeek V3的技术报告看不出MTP提升模型性能尤其的最大尺寸的模型性能。LLM的训练是一个细致活还有其他的因素包括PTX的使用、通信的优化等等。
DeepSeek V3的推理成本低模型架构中的MLA、MoE和MTP等技术应该均有贡献。
三、DeepSeek的用户体验
DeepSeek的用户体验方面嘛。首先说时尚这个东西之所以称为时尚就在于难于预测。体验首先来自民心DeepSeek撼动了美国AI界提升了国人信心就已经获得了最大民心。
对于用户体验具体来说看到有说DeepSeek说话犀利、有情绪价值不像机器人更像人。网上关于周鸿祎、以及为什么DeepSeek来自初创公司而不是互联网大厂这些问题我也试了确实可以复刻确实犀利敢说但是呢这里的原因恐怕不是因为模型的智能水平而是模型的最后的对齐方面在模型的后训练方面模型的输出对齐到了这种风格。也说明DeepSeek团队确实有性格。但是这种风格对于其他的LLM团队应该不难只是敢不敢愿不愿的问题。
