外贸外链网站,wordpress 记录ip插件,网站建设大德通,网站加手机建设png图标摘要#xff1a;测试时缩放#xff08;Test-Time Scaling#xff0c;TTS#xff09;是一种通过在推理阶段使用额外计算来提高大语言模型#xff08;LLMs#xff09;性能的重要方法。然而#xff0c;目前的研究并未系统地分析策略模型、过程奖励模型#xff08;Process …
摘要测试时缩放Test-Time ScalingTTS是一种通过在推理阶段使用额外计算来提高大语言模型LLMs性能的重要方法。然而目前的研究并未系统地分析策略模型、过程奖励模型Process Reward ModelsPRMs以及问题难度如何影响TTS。这种分析的缺乏限制了人们对TTS方法的理解和实际应用。在本文中我们聚焦于两个核心问题1在不同策略模型、PRMs和问题难度水平下扩展测试时计算的最优方法是什么2通过增加计算能在多大程度上提高LLMs在复杂任务上的性能以及通过这种方法较小的语言模型能否超越较大的语言模型通过在MATH-500和具有挑战性的AIME24任务上进行全面实验我们得出了以下观察结果1计算最优的TTS策略高度依赖于策略模型、PRM和问题难度的选择。2采用我们的计算最优TTS策略极小的策略模型可以超越较大的模型。例如在MATH-500上一个10亿参数的大语言模型可以超越一个405亿参数的大语言模型。此外在MATH-500和AIME24上一个5亿参数的大语言模型优于GPT-4o一个30亿参数的大语言模型超越了405亿参数的大语言模型而一个70亿参数的大语言模型则击败了o1和DeepSeek-R1同时具有更高的推理效率。这些发现表明根据每个任务和模型的具体特征调整TTS策略具有重要意义并指出TTS是增强LLMs推理能力的一种有前景的方法。Huggingface链接Paper page论文链接2502.06703
10亿参数大语言模型能超越405亿参数大语言模型吗重新思考测试时计算最优缩放
引言
随着大语言模型LLMs在各个领域的显著进步如何提高其性能成为了研究热点。测试时缩放Test-Time ScalingTTS作为一种通过在推理阶段使用额外计算来提高LLMs性能的方法逐渐受到关注。然而当前的研究并未系统地分析策略模型、过程奖励模型Process Reward ModelsPRMs以及问题难度如何影响TTS这限制了人们对TTS方法的理解和实际应用。本文旨在填补这一空白通过全面实验探讨TTS的最优策略并评估其在提高LLMs复杂任务性能方面的潜力。
测试时缩放TTS概述
TTS方法主要分为两大类内部TTS和外部TTS。内部TTS通过训练LLMs以“慢速”思考的方式生成长链式思维Chain-of-ThoughtCoT从而提高推理能力。而外部TTS则通过采样或基于搜索的方法在固定LLMs的基础上提高推理性能。外部TTS的关键挑战在于如何最优地分配计算资源即为每个问题分配最佳的计算量。
在外部TTS中过程奖励模型PRMs起着至关重要的作用。PRMs通过为LLMs生成的每个步骤分配奖励指导生成过程并选择最终答案。然而当前的研究缺乏对PRMs、策略模型和问题难度如何共同影响TTS效果的深入分析。
研究问题与贡献
本文聚焦于两个核心问题
在不同策略模型、PRMs和问题难度水平下扩展测试时计算的最优方法是什么通过增加计算能在多大程度上提高LLMs在复杂任务上的性能以及通过这种方法较小的语言模型能否超越较大的语言模型
针对上述问题本文通过在MATH-500和具有挑战性的AIME24任务上进行全面实验得出了以下主要贡献
系统地评估了不同TTS方法在不同策略模型、PRMs和缩放方法下的性能。强调了TTS过程中奖励信息的重要性并提出了奖励感知的计算最优TTS策略。展示了通过计算最优TTS策略较小的语言模型可以在复杂任务上超越较大的语言模型。
实验设置与方法
数据集
本文在MATH-500和AIME24两个数据集上进行了实验。MATH-500包含500个具有代表性的数学问题这些问题选自MATH测试集的难题部分。AIME24则是一个更具挑战性的数据集包含了一系列需要高级数学推理能力的问题。
策略模型与PRMs
实验使用了来自Llama 3和Qwen 2.5系列的策略模型这些模型的参数规模从0.5B到72B不等。同时评估了多种开源PRMs包括Math-Shepherd、RLHFlow系列、Skywork系列和Qwen2.5-Math系列。这些PRMs的参数规模从1.5B到72B不等为实验提供了丰富的选择。
TTS方法
本文考虑了三种主要的TTS方法Best-of-NBoN、Beam Search和Diverse Verifier Tree SearchDVTS。这些方法在生成过程中采用不同的策略来选择最终答案从而评估TTS策略的有效性。
实验结果与分析
TTS性能与策略模型、PRMs的关系
实验结果表明TTS性能高度依赖于策略模型、PRM和问题难度的选择。对于不同的策略模型最优的TTS方法各不相同。例如对于较小的策略模型搜索基方法如Beam Search和DVTS通常优于BoN方法而对于较大的策略模型BoN方法则表现出更好的性能。
此外PRMs的泛化能力对TTS性能有显著影响。当PRMs与策略模型不匹配时即PRMs是在不同的策略模型上训练的TTS性能会显著下降。这表明在实际应用中为每个策略模型单独训练PRM可能是必要的但这会增加计算成本。
TTS性能与问题难度的关系
实验还探讨了问题难度对TTS性能的影响。通过将问题难度分为易、中、难三个级别本文发现对于不同难度的问题最优的TTS方法也不同。对于较小规模的策略模型BoN方法在简单问题上表现较好而Beam Search方法在复杂问题上表现更佳。对于中等规模的策略模型DVTS方法在简单和中等难度问题上表现出色而Beam Search方法则更适合解决复杂问题。
小模型超越大模型的潜力
通过采用计算最优的TTS策略本文展示了极小的策略模型如1B LLM可以在复杂任务上超越较大的模型如405B LLM。在MATH-500和AIME24任务上0.5B LLM和3B LLM分别超越了GPT-4o和405B LLM同时保持了较高的推理效率。这些发现表明通过精心设计的TTS策略较小的语言模型可以在资源有限的情况下实现卓越的性能。
TTS与长CoT方法的比较
本文还比较了TTS与长CoT方法在复杂任务上的性能。实验结果表明虽然长CoT方法在一定程度上提高了LLMs的推理能力但TTS方法在多数情况下表现更优。特别是在处理复杂问题时TTS方法能够更有效地利用计算资源提高推理效率和准确性。
讨论与未来工作
奖励感知的TTS策略
本文提出了奖励感知的计算最优TTS策略该策略强调了在TTS过程中考虑奖励信息的重要性。未来的工作可以进一步探索如何更好地集成奖励信息到TTS策略中以提高其性能和泛化能力。
PRMs的改进
尽管PRMs在TTS中起着关键作用但当前的研究表明PRMs在泛化能力和对特定响应长度的偏好方面存在局限性。未来的工作可以致力于开发更强大、更通用的PRMs以提高TTS的整体性能。
扩展到更多任务
本文的实验主要集中在数学推理任务上。未来的工作可以探索将TTS方法扩展到更多类型的任务上如自然语言理解、代码生成等以评估其普适性和有效性。
计算最优TTS策略的优化
当前的研究主要依赖于实验来探索计算最优的TTS策略。未来的工作可以探索更系统化的方法来优化TTS策略如基于强化学习或贝叶斯优化等方法。
结论
本文通过全面实验评估了不同TTS方法在不同策略模型、PRMs和问题难度下的性能并提出了奖励感知的计算最优TTS策略。实验结果表明通过精心设计的TTS策略较小的语言模型可以在复杂任务上超越较大的语言模型。这些发现不仅加深了对TTS方法的理解还为未来LLMs性能的提升提供了新的思路和方法。同时本文也指出了当前TTS研究中的局限性并提出了未来的研究方向和挑战。
