网站数据库地址是什么,企业网络设计方案论文,网站下载到本地,信誉好的新乡网站建设目录
一、来源#xff1a;
论文链接#xff1a;https://arxiv.org/pdf/2501.06252
代码链接#xff1a;SakanaAI/self-adaptive-llms
论文发布时间#xff1a;2025年1月14日
二、论文概述#xff1a;
图1 Transformer 概述
图2 训练及推理方法概述
图3 基于提示的…目录
一、来源
论文链接https://arxiv.org/pdf/2501.06252
代码链接SakanaAI/self-adaptive-llms
论文发布时间2025年1月14日
二、论文概述
图1 Transformer² 概述
图2 训练及推理方法概述
图3 基于提示的自适应
图4 奇异值微调SVF学习曲线
图5 视觉语言模型VLM领域的结果
三、总结 一、来源
论文链接https://arxiv.org/pdf/2501.06252
代码链接SakanaAI/self-adaptive-llms
论文发布时间2025年1月14日
二、论文概述
Transformer² 的发布在性能提升、成本降低等方面展现出优势有可能像 Transformer 当初一样带来新一轮技术革命推动大模型技术进一步发展。
作者表示这项研究为人们提供了一个未来 AI 模型不再静态的初步展望。这些系统将在测试时动态地调整其计算能力以适应它们所遇到任务的复杂性体现出能够持续变化和终生学习的”活“的智能。 Transformer² 主要具备以下三大亮点
奇异值微调SVF使用 SVF 和 RL 进行训练自适应策略
接下来我们从论文中寻找他的技术细节对Transformer²进行初步的探究。
正如图 1 所示在训练时Transformer²会精心调整权重矩阵的奇异值以获得‘专家’向量这些向量在后续的推理过程中发挥着关键作用。在推理的第一阶段模型依据任务特性调用合适的专家向量为生成准确答案奠定基础第二阶段则完成最终的答案生成。 图1 Transformer² 概述
从图 2 中我们能深入了解其构建过程。在训练环节左图SVF 与 RL 协同工作学习得到具有针对性的专家向量。而在推理阶段右图Transformer² 提供了三种灵活的方法来应对不同的任务需求如基于提示的方法通过巧妙构建提示来筛选专家向量基于任务分类器的方法利用专门训练的分类器提高任务识别能力基于混合的方法则通过创新的线性插值和 CEM 搜索实现更精准的自适应组合。 图2 训练及推理方法概述
Transformer²共有三种自适应策略分别是 基于提示的适应通过提示词对任务进行分类并选择预训练的 z 向量。 基于分类器的适应使用 SVF 训练的任务分类器在推理中识别任务并选择合适的 z 向量。 少样本适应通过加权插值组合多个预训练的 z 向量。根据少样本评估集上的性能调整权重。
其中从图 3 中可以清晰地看到Transformer² 利用一种特殊的自适应提示其核心目的是将接收到的任务提示分类到预定义的类别之中。这就好比为不同的任务提示找到了它们各自对应的 “收纳箱”让模型能够更高效地处理这些信息。
举例来说当用户输入一个关于数学计算的任务提示时自适应提示会迅速将其归类到数学相关的预定义类别中然后模型就能精准地调用擅长数学任务的 “专家” 向量给出准确的计算结果或解决方案。 图3 基于提示的自适应
在探究 Transformer² 中奇异值微调SVF的效果时图 4 为我们呈现了关键信息。从图中可以看到那些虚线代表着 LLAMA3 - 8B INSTRUCT 在每个任务测试集上的性能表现。而 SVF 的强大之处在于它通过有效的微调成功地超越了基础性能。
为了更全面地展示 SVF 的学习能力作者不仅展示了最终用于评估的最佳验证分数对应的检查点用醒目的红点标记还给出了完整的训练曲线没有采用提前停止的策略。这意味着我们能清晰地看到 SVF 在整个训练过程中的学习进展。 图4 奇异值微调SVF学习曲线
同时作者使用 SVF 对 LLAMA3 - LLAVA - NEXT - 8B 进行微调使基础模型的性能提升超过 39%见图 5。为确保公平比较在附录 4.3 中针对不同架构和优化目标对模型和 LoRA 基线进行了广泛的消融实验。由于其关键的参数化方式训练 SVF 所需资源大幅减少其训练参数不到作者LoRA 实现的 10%。
读论文看到这里我想到了刚发布的deepseekv3其不仅在性能上霸榜更是在训练效率上遥遥领先值得大家关注 图5 视觉语言模型VLM领域的结果
当然既然比其他模型多出了自适应功能那么就需要相应的计算作者解释表 1 报告了 Transformer² 的提示自适应策略所需的推理时间其中分别列出了第一遍和第二遍解决整个问题集所花费的时间。请注意第二遍推理时间是解决问题所花费的时间第一遍推理时间是自适应所花费的时间第一遍与第二遍推理时间的比率在括号内。虽然额外的一遍推理可能看似使总体运行时间翻倍但重要的是要注意推理时间主要取决于生成的令牌数量。在我们的设定中它是O(n)其中是输入的长度。ARC-challenge 的成本比率较大因为它们是单项选择题因此第二遍的成本也是O(n) 。在一般情况下我们认为假设这个比率更接近 MATH 和 Humaneval 的比率是合理的。 三、总结
在本文中作者介绍了 Transformer²为实现自适应大语言模型LLMs提供了一个全新蓝图。在此框架内首先提出了奇异值微调SVF方法与先前的微调方法相比它性能更优同时成本更低、组合性更强还能对过拟合进行正则化处理 —— 这些都是实现可扩展自适应的关键特性。以一组 SVF 专家向量作为构建模块我们开发了三种有效的自适应策略每种策略都有独特优势并且随着对测试时条件了解的增多能带来持续的性能提升。
尽管 Transformer² 取得了令人瞩目的成果但未来仍有诸多令人期待的研究方向。其局限性之一在于SVF 专家向量的能力与基础模型的潜在组件紧密相关。为解决这一问题模型融合提供了一个颇具前景的方向它能将专门化的模型合并为一个能力更强的单一模型。此外虽然我们基于交叉熵方法CEM的自适应策略能有效平衡性能与效率但扩展到大量特定领域可能会导致一次性计算成本增加。不过性能提升和自适应能力增强带来的好处抵消了这种权衡。模型融合和高效自适应技术的进步催生了在公开排行榜上名列前茅的模型使其成为 Transformer² 基础模型的有力候选为自适应大语言模型开辟了新的可能性。
