寻亲网站开发设计文档,做网站的岗位叫什么问题,莱芜装修网站,快站微信网站制作RAG的输出准确率
RAG的输出准确率 向量信息保留率 * 语义搜索准确率 * LLM准确率RAG的输出准确率由三个因素共同决定#xff1a;向量信息保留率、语义搜索准确率以及LLM准确率。这三个因素是依次作用的#xff0c;因此准确率实际上是它们的乘积。这意味着#xff0c;任何一…RAG的输出准确率
RAG的输出准确率 向量信息保留率 * 语义搜索准确率 * LLM准确率RAG的输出准确率由三个因素共同决定向量信息保留率、语义搜索准确率以及LLM准确率。这三个因素是依次作用的因此准确率实际上是它们的乘积。这意味着任何一个环节的不完美都会影响到整体的准确率。
目前针对RAG的优化工作主要集中在以下三个方面
通过COT等方法提高LLM对问题的理解程度。使用sentence window retrive、rerank等技术来提高语义搜索的准确率。通过精心选择和优化embedding算法以最大程度保留原始数据的信息。
然而由于最终准确率是这三个因素准确率的乘积即使我们将每个环节的准确率都优化到90%最终的准确率也只能达到72%。因此提高RAG的输出准确率需要我们在每一个环节都进行深入优化以实现整体的提升。
RAG高级检索策略 依赖于嵌入的余弦相似性进行检索的方法效果有限。许多人在LangChain中实现了更高级的检索策略这些策略在LangChain中被广泛采用和记录。
然而我们发现最常用的检索策略并非LangChain内置的而是用户自定义的策略。这反映出在LangChain中实现自定义检索策略是相对简单的同时也说明为了达到最优性能往往需要开发特定的逻辑。
此外我们还注意到了一些熟悉的策略名称
Self Query从用户的问题中提取元数据过滤器。Hybrid Search主要通过Supabase和Pinecone等提供商的集成来实现。Contextual Compression对基本检索结果进行后处理。Multi Query将单个查询拆分为多个查询并检索所有查询的结果。TimeWeighted VectorStore为最近的文档赋予更高的优先级。
这些策略的出现表明为了提高检索效果人们正在不断地探索和实施创新的解决方案。
LangGraph协作 主要控制状态转换的因素是「路由器」,但它是一个基于规则的路由器,因此相当简单。基本上,在每次LLM调用之后,它会查看输出。如果调用了工具,则调用该工具。如果没有调用工具且LLM响应“最终答案”,则返回给用户。否则(如果没有调用工具且LLM未响应“最终答案”),则转到另一个LLM。
在LangGraph协作中控制状态转换的关键组件是「路由器」它基于规则进行操作因此设计相对简单。其工作流程大致如下每次语言模型LLM被调用后路由器会检查其输出内容。如果LLM指示需要调用某个工具那么路由器就会执行这一工具调用。如果LLM的输出是一个“最终答案”且没有指示调用工具那么这个答案就会被返回给用户。如果LLM的输出既没有指示调用工具也没有提供“最终答案”那么路由器会将任务转发给另一个LLM进行进一步处理。
Neo4j-图数据库AI助手 在业界利用语言模型LLMs生成Cypher查询语句已经变得非常普遍。这种方法显著增加了数据提取的灵活性。然而经验表明直接依赖LLMs生成Cypher语句可能会遇到稳定性和准确性方面的问题。
为了解决这些挑战我们探索了一种新的策略旨在确保操作的稳定性和高度一致性。我们提出的方法是让LLM不再直接创建Cypher语句而是根据用户的指令从提供的信息中识别和提取参数。接着这些参数被用来填充预定义的函数或现有的Cypher模板以生成准确的查询。
Agents自省
基础自省
在Agents自省的场景中我们采用了基础自省的方法涉及到两个语言模型的互动一个是生成器另一个是自省者。生成器的角色是直接回答用户的查询而自省者则承担起指导者的责任对生成器的初步回答提供有益的评估和指导。
这一互动过程会经历几个循环直至最终提供一个经过优化的答案。 Reflexion
在Agents自省的领域Shinn等人开发的Reflexion框架通过口头反馈和自我反思来促进学习。该框架中执行者负责对每次生成的响应进行深入分析并利用外部数据提供支持。执行者被要求提供引文作为证据并明确指出响应中的重复内容和缺失信息这样的自省过程不仅具有建设性还能指导生成器根据反馈进行相应的改进。
在我们的示例中我们在达到一定步骤后停止了自省过程。然而你也可以选择让自省语言模型自行决定何时结束这一过程。
代理循环的概述如下 执行者概述
在每一步的执行过程中回答者的任务是提供答案并执行一系列的搜索查询作为补充操作。紧接着审稿者需要对当前的情况进行反思和评估。这一逻辑可以通过LangGraph框架来定义。
语言代理树搜索
在Agents自省的领域Zhou等人研发的语言代理树搜索LATS是一种创新算法它整合了自省评估和搜索架构尤其是蒙特卡洛树搜索。该算法基于标准的强化学习RL任务框架并采用语言模型来替代传统RL代理、价值函数和优化器这样做显著提升了处理复杂任务的能力并有效避免了陷入重复的行为模式。
搜索过程分为以下四个主要步骤 选择基于后续步骤产生的综合奖励挑选出最佳行动方案。当找到解决方案或达到最大搜索深度时会直接给出响应若没有则继续搜寻。扩展和模拟预设生成 N 个可能采取的行动本例中为 5 个并同时执行这些行动。反思和评价观察这些行动产生的结果并依据反思也可能包含外部反馈对其做出评价。反向传播根据行动结果更新初始轨迹的评分。
如果智能体拥有一个有效的反馈环基于环境奖励或可靠的自省得分那么它就可以确切区分不同的行动轨迹并选择更佳路径。最终选定的路径可以保存在外部记忆中或者用于模型的微调提升未来的性能表现。
“选择”步骤会选择具有最高上限置信区间UCT的节点该步骤平衡了预期奖励与探索新途径的动机。 通过查阅代码可以了解具体实现方式。在 LangGraph 的实现中我们将生成和自省步骤归于同一节点并且每一次循环时都会检查任务状态以判断任务是否已被成功解决。
LATS 将诸如 Reflexion、思想树和计划执行等其他代理架构中的推理、规划、自省组件结合起来。通过对自省和环境反馈的逆向传播LATS 优化了搜索流程。尽管它对奖励分数可能较为敏感但总体来说这个算法可以灵活地应用于多种任务。 与其他代理架构的对比图
RAG数据抽取服务
明确抽取需求
为了确保语言模型LLM有效地抽取信息我们需要清楚地指导它我们想要什么。明确需求包括三个核心部分
描述你希望抽取的数据结构的模式Schema。提供包含抽取背景和指示的命令Prompt。展示文本信息抽取的实例样本Reference examples。
实现过程
理解了这些组成部分后我们需要了解如何使它们协同工作。我们将分享两个简单但有效的方法。
首先确保LLM以正确的格式回应至关重要。仅仅在命令中指示LLM输出JSON格式可能不足以确保一致性。因此采用函数调用已经成为一种新的、相对可靠的方法来确保LLM严格按照特定格式输出。我们建议使用这种方法来提高性能。
可以查阅结构化输出文档其中LangChain API的高级视图展示了不同LLM如何调用工具和函数。
另一个提高性能的方法是使用参考样本。尽管可以不使用样本来设置抽取问题但我们发现在实际应用中提供输入和相应输出的样本通常非常有帮助。有时这些样本比指令本身更能有效地指导LLM处理特定情况。
LangChain 数据抽取文档https://python.langchain.com/docs/use_cases/extraction
信息检索的能力边界
随着人工智能模型处理能力的提升它们能够有效处理的上下文信息量也在不断增加现在已能处理达到百万级别的词汇量。这种能力使得大型语言模型LLMs对长上下文文本的研究兴趣日益浓厚。在这类模型的研究中一种广泛采用的方法是将一个事实被称为“针”嵌入到大量的上下文信息被称为“干草堆”中随后测试模型是否能够在这些上下文中定位并回答与该事实相关的问题。这种测试方法使我们能够评估并洞察模型在处理长文本和信息检索方面的能力极限。
