带后台的网站模板,广州番禺区怎么样,20个外国平面设计网站,专业企专业企业网站设计传统 RAG 与 HyDE#xff0c;直观解释#xff01;
传统 RAG 系统的一个关键问题是问题在语义上与答案不相似。
考虑以下示例#xff0c;您想要找到类似于“什么是 ML#xff1f;”的句子。 “什么是 AI#xff1f;” 可能看起来比“机器学习很有趣”更相似。
这种语义差…传统 RAG 与 HyDE直观解释
传统 RAG 系统的一个关键问题是问题在语义上与答案不相似。
考虑以下示例您想要找到类似于“什么是 ML”的句子。 “什么是 AI” 可能看起来比“机器学习很有趣”更相似。
这种语义差异导致在检索步骤中检索到几个不相关的上下文。
HyDE 解决了这个问题。
下面的视觉效果说明了这种方法与传统 RAG 的不同之处。
它的工作原理如下
- 使用 LLM 为查询 (Q) 生成假设答案 (H)。 这个答案不必完全正确。
- 使用检索器模型嵌入答案以获得 E。 经过对比学习训练的双编码器通常用于此目的。
- 使用嵌入 E 查询向量数据库并检索相关上下文 (C)。
- 将假设答案 H、检索到的上下文 C 和查询 Q 传递给 LLM 以生成最终答案。
完成
现在当然生成的假设可能会包含幻觉细节。
但这不会严重影响性能因为检索器模型是嵌入的。
更具体地说该模型使用对比学习进行训练它还可以用作近无损压缩器其任务是过滤掉虚假文档的幻觉细节。
这会产生一个向量嵌入预计它与实际文档的嵌入的相似度要高于问题与真实文档的相似度。
多项研究表明与传统嵌入模型相比HyDE 提高了检索性能。
但这是以增加延迟和更多 LLM 使用为代价的。
喜欢这个吗你也应该看看我的 RAG 系列从构建和优化 RAG 应用程序到评估性能和制作代理和多模式系统——一切都在这里。 akshay_pachaar
