中华住房和城乡建设厅网站,莫名接到网站建设电话,重庆市建筑协会信息网,请多记几个本站域名防止失联1、什么是 RAG
RAG#xff08;Retrieval-Augmented Generation#xff0c;检索增强生成#xff09;是一种结合信息检索技术和 AI 内容生成的混合架构#xff0c;可以解决大模型的知识时效性限制和幻觉问题。
简单来说#xff0c;RAG 就像给 AI 配了一个 “…1、什么是 RAG
RAGRetrieval-Augmented Generation检索增强生成是一种结合信息检索技术和 AI 内容生成的混合架构可以解决大模型的知识时效性限制和幻觉问题。
简单来说RAG 就像给 AI 配了一个 “小抄本”让 AI 回答问题前先查一查特定的知识库来获取知识确保回答是基于真实资料而不是凭空想象。
从技术角度看RAG 在大语言模型生成回答之前会先从外部知识库中检索相关信息然后将这些检索到的内容作为额外上下文提供给模型引导其生成更准确、更相关的回答。
通过 RAG 技术改造后AI 就能
准确回答关于特定内容的问题在合适的时机推荐相关课程和服务 搜索推荐服务广告竞价排名变现用特定的语气和用户交流提供更新、更准确的建议
特性传统大语言模型RAG增强模型知识时效性受训练数据截止日期限制可接入最新知识库领域专业性泛化知识专业深度有限可接入专业领域知识响应准确性可能产生 “幻觉”基于检索的事实依据可控性依赖原始训练可通过知识库定制输出资源消耗较高需要大模型参数模型可更小结合外部知识
2、RAG 工作流程
AG 技术实现主要包含以下 4 个核心步骤让我们分步来学习
文档收集和切割向量转换和存储文档过滤和检索查询增强和关联
2.1、文档收集和切割
文档收集从各种来源网页、PDF、数据库等收集原始文档
文档预处理清洗、标准化文本格式
文档切割将长文档分割成适当大小的片段俗称 chunks
基于固定大小如 512 个 token基于语义边界如段落、章节基于递归分割策略如递归字符 n-gram 切割
2.2、向量转换和存储
向量转换使用 Embedding 模型将文本块转换为高维向量表示可以捕获到文本的语义特征
向量存储将生成的向量和对应文本存入向量数据库支持高效的相似性搜索
2.3、文档过滤和检索
查询处理将用户问题也转换为向量表示
过滤机制基于元数据、关键词或自定义规则进行过滤
相似度搜索在向量数据库中查找与问题向量最相似的文档块常用的相似度搜索算法有余弦相似度、欧氏距离等
上下文组装将检索到的多个文档块组装成连贯上下文
2.4、查询增强和关联
提示词组装将检索到的相关文档与用户问题组合成增强提示
上下文融合大模型基于增强提示生成回答
源引用在回答中添加信息来源引用
后处理格式化、摘要或其他处理以优化最终输出
2.5完整工作流程
分别理解上述 4 个步骤后我们可以将它们组合起来形成完整的 RAG 检索增强生成工作流程 3、RAG 相关技术
3.1、Embedding 和 Embedding 模型
Embedding 嵌入是将高维离散数据如文字、图片转换为低维连续向量的过程。这些向量能在数学空间中表示原始数据的语义特征使计算机能够理解数据间的相似性。
Embedding 模型是执行这种转换算法的机器学习模型如 Word2Vec文本、ResNet图像等。不同的 Embedding 模型产生的向量表示和维度数不同一般维度越高表达能力更强可以捕获更丰富的语义信息和更细微的差别但同样占用更多存储空间。
3.2向量数据库
向量数据库是专门存储和检索向量数据的数据库系统。通过高效索引算法实现快速相似性搜索支持 K 近邻查询等操作
3.3、召回
召回是信息检索中的第一阶段目标是从大规模数据集中快速筛选出可能相关的候选项子集。强调速度和广度而非精确度。
举个例子我们要从搜索引擎查询 “程序员学习交流群” 时召回阶段会从数十亿网页中快速筛选出数千个含有“程序员” 等相关内容的页面为后续粗略排序和精细排序提供候选集。
3.4、精排和 Rank 模型
精排精确排序是搜索 / 推荐系统的最后阶段使用计算复杂度更高的算法考虑更多特征和业务规则对少量候选项进行更复杂、精细的排序。
比如短视频推荐先通过召回获取数万个可能相关视频再通过粗排缩减至数百条最后精排阶段会考虑用户最近的互动、视频热度、内容多样性等复杂因素确定最终展示的 10 个视频及顺序。
Rank 模型排序模型负责对召回阶段筛选出的候选集进行精确排序考虑多种特征评估相关性。
现代 Rank 模型通常基于深度学习如 BERT、LambdaMART 等综合考虑查询与候选项的相关性、用户历史行为等因素。举个例子电商推荐系统会根据商品特征、用户偏好、点击率等给每个候选商品打分并排序。
3.5、混合检索策略
混合检索策略结合多种检索方法的优势提高搜索效果。常见组合包括关键词检索、语义检索、知识图谱等。
比如在 AI 大模型开发平台 Dify 中就为用户提供了 “基于全文检索的关键词搜索 基于向量检索的语义检索” 的混合检索策略用户还可以自己设置不同检索方式的权重。
