怎么做网站推,上海招聘网最新招聘2023,苏州旅游攻略,免费h5模板都从哪里下载研究背景
近年来#xff0c;大型语言模型#xff08;LLMs#xff09;在各种自然语言推理任务上取得了显著进展#xff0c;尤其是在结合大规模模型和复杂提示策略#xff08;如链式思维提示#xff08;CoT#xff09;#xff09;时。然而#xff0c;LLMs 在推理的事实…研究背景
近年来大型语言模型LLMs在各种自然语言推理任务上取得了显著进展尤其是在结合大规模模型和复杂提示策略如链式思维提示CoT时。然而LLMs 在推理的事实准确性方面存在越来越多的担忧特别是在零样本 CoT 提示和需要多步骤和上下文感知推理的长视野生成任务中。这些任务包括代码生成、任务规划、数学推理等需要事实正确的中间思维过程来成功完成任务。
研究目标
本文探讨了如何通过信息检索迭代修改思维链显著提高大型语言模型在长视野生成任务中的推理和生成能力同时大幅减轻幻觉现象。具体而言提出的方法——检索增强思维RAT逐步修改每一步思维链并结合检索到的相关信息旨在改进初始零样本 CoT 生成的思维链。
相关工作
RAG: 旨在解决大型语言模型生成虚构事实的问题通过提供从可信来源提取的相关文本一般被用于问答QA任务。简单地说就是首先根据相关性找到和问题相关的内容然后把相关的内容和用户问题拼接成 Prompt 交给大模型。然而复杂的推理任务例如那些需要多步骤推理的任务很难转化为有效的搜索查询这导致在寻找相关文档时遇到挑战。传统上RAG 一次性检索所有相关信息。然而它忽略了一个事实即很难预测在后续的推理和生成步骤中需要哪些“事实”或信息。任务提示本身几乎不足以为此提供足够的线索。
CoT旨在提高 LLM 在需要复杂推理步骤的任务中的性能例如多步骤的数学应用题。具体来说CoT 提示不是直接让 LLM 生成正确答案而是激励 LLM 首先输出中间推理步骤这些步骤被称为“思维”。LLM 的这种行为可以通过 prompt 进行触发比如著名的“Let’s think step by step”或者通过在类似任务中执行少量样本示例来触发。然而由于没有对中间思维进行直接监督LLM 可能会因为缺乏相关的领域知识而犯错误或者受到虚构信息的偏差。
方法论
数据处理
生成初始答案prompt1虽然 CoT 说自己是step-by-step的但实际上是单轮的。因此需要从单轮回答中解析出有哪些步骤/思考。这里用了一个 trick在 prompt 中让 LLM 通过换行来输出不同的 step。
生成搜索查询prompt2这个的流程是总结出当前文本写了什么然后根据总结的内容去检索相关知识。prompt2 相当于生成 RAG 的 input。
根据检索到的上下文修订答案prompt3在 prompt3 之前会进行 RAG 得到相关内容然后再根据相关的内容去修订当前回答。 解决方案
核心思想 利用 CoT 生成多个步骤然后在每个步骤中加入 RAG 以减少模型幻觉并提高效果。即RAGCoTRAT。
详细 RAT 是一种着重于迭代修正模型生成思路的新方法。首先LLM产生的初始零样本CoT以及原始任务提示将被用作查询以检索可能有助于修改可能有缺陷的CoT的信息。其次设计一种渐进的方法而不是用完整的CoT进行检索和修改并立即产生最终响应其中LLM在CoT一系列子任务之后逐步生成响应并且只有当前思维步骤将根据任务提示检索到的信息、当前和过去的CoT进行修改。这种策略可以类比于人类的推理过程在复杂的长期问题解决过程中利用外部知识来调整我们的逐步思维。 案例说明 如何在Minecraft中获得钻石剑 用户Query 用户在Minecraft游戏中提出一个问题“如何获得钻石剑” 初始形态 在接收到用户的任务提示Query后模型首先进行零样本链式思维CoT推理。初始的思维链可能会如下生成
T1: 获得4块木板有误 T2: 用木板制作工作台 T3: 挖掘钻石矿 T4: 用钻石和木棍制作钻石剑 此初始生成的思维链可能存在错误例如第一步中的“获得4块木板”实际上应该是“获得4块木材”。
中间形态 接下来模型利用RAT方法逐步修正初始的思维链。在每一步修正过程中模型将当前的思维链步骤及其之前的步骤作为查询检索外部知识库中的相关信息。例如
初始生成的T1是“获得4块木板”模型会将其作为查询的一部分检索Minecraft的相关知识库。检索结果表明正确的步骤是“获得4块木材”。 修正后的T1*: 获得4块木材 接着模型继续修正下一步
T2: 用木板制作工作台这一步是正确的不需要修改。 修正后的T2*: 用木板制作工作台 然后是T3和T4同样通过检索外部信息来验证和修正步骤
T3: 挖掘钻石矿正确无需修改
修正后的T3*: 挖掘钻石矿
T4: 用钻石和木棍制作钻石剑正确无需修改
修正后的T4*: 用钻石和木棍制作钻石剑
最终形态 经过一系列逐步修正后最终的思维链如下
T1*: 获得4块木材 T2*: 用木板制作工作台 T3*: 挖掘钻石矿 T4*: 用钻石和木棍制作钻石剑 5. 模型输出 最终模型根据修正后的思维链输出完整且准确的步骤来指导用户如何在Minecraft中获得钻石剑
获得4块木材 用木材制作木板 用木板制作工作台 挖掘钻石矿 用钻石和木棍制作钻石剑
实验
实验设计
数据集代码生成、数学推理、创意写作和具体任务规划等多个长视野生成任务。 使用模型不同规模的LLMs包括GPT-3.5、GPT-4和CodeLLaMA-7b。 评价指标代码生成的通过率passk、数学推理的准确率、创意写作和具体任务规划的可行性和合理性评分。
实验结论
代码生成在HumanEval和HumanEval基准测试中的pass1和pass5率显著提高分别提升了20.94%和25.68%。 数学推理在GSM8K和GSMHard数据集上表现优异准确率分别提高了8.36%和31.37%。 创意写作和具体任务规划在创意写作任务中的得分提高了19.19%在Minecraft任务规划中的可执行性和合理性评分分别提升了2.96倍和51.94%。
参考资料
论文代码
