金坛网站制作,青岛网站建设公,title 网站建设公司实力,网站推广软文公司随着 ChatGPT 等大语言模型(LLM)的不断发展#xff0c;越来越多的研究人员开始关注语言模型的应用。 其中#xff0c;检索增强生成#xff08;Retrieval-augmented generation#xff0c;RAG#xff09;是一种针对知识密集型 NLP 任务的生成方法#xff0c;它通过在生成过…随着 ChatGPT 等大语言模型(LLM)的不断发展越来越多的研究人员开始关注语言模型的应用。 其中检索增强生成Retrieval-augmented generationRAG是一种针对知识密集型 NLP 任务的生成方法它通过在生成过程中引入检索组件从已知的知识库中检索相关信息并将这些信息与 LLM 的生成能力结合从而提高生成的准确性和可靠性。这种方法可以用于实现各种知识密集型 NLP 任务如问答、文摘生成、语义推理等。 本文将从解决优化 RAG 系统里的一个具体问题出发通过展示使用 LLM Prompt Engineering 的方法来解析传统 NLP 的问题。 01.
解决方案初探 开源项目 Akciohttps://github.com/zc277584121/akcio 就是一套完整的 RAG 问答系统用户导入各类私有专业知识就可以构建专业领域的问答系统。 Akcio 的架构图。专业知识是各类 Documents通过 DataLoader 导入进 Store。在每次提问 Question 后LLM 可以结合召回知识加上 LLM 自身的自然语言生成能力给出对应的回答。 举个例子比如我们将一篇名为《2023 大模型落地进展趋势洞察报告》的文章将它导入 Akcio就可以问它这篇报告里的问题了比如 2023年大模型行业的应用场景可以分为哪几类通过一些召回策略在 Store 里召回出了《报告》中与问题最相关的 3 条原文片段 [在2023年大模型行业的应用场景可分为生成和决策两类应用场景,决策场景预期业务值更高。,
大模型行业的生成场景主要有对话交互代码开发智能体等。,
NLP的应用场景有文本分类机器翻译情感分析自动摘要等。]很显然最有用的片段是第一条但没关系Akcio 会把这 3 条都作为 context去问 LLM比如它是这样问的 请根据下面知识回答问题知识在2023年大模型行业的应用场景可分为生成和决策两类应用场景,决策场景预期业务值更高。
大模型行业的生成场景主要有对话交互代码开发智能体等。
NLP的应用场景有文本分类机器翻译情感分析自动摘要等。问题2023年大模型行业的应用场景可以分为哪几类LLM 就可以给出合理的回答: 大模型行业的应用场景可以分为生成和决策两类应用场景。这样的话整条链路就走通了。这套架构逻辑看似并不复杂但如果深入到开发过程中就会发现其中有一些难点需要解决。 比如在多轮对话的情况下就需要解决一个问题如果在最新一轮的提问里面有些指代上文的代词那么如果直接用这个问题去做召回很可能会召回错误的知识比如 问1: 2023年大模型行业的应用场景可以分为哪几类
答1: 大模型行业的应用场景可以分为生成和决策两类应用场景。
问2: 它们有什么区别能举例说明吗这里的“它们”很显然指的是“生成和决策两类应用场景”问题的原意是“生成和决策场景有什么区别能举例说明吗”。但如果直接用这个问题“它们有什么区别能举例说明吗”去做召回那很有可能召回的是比如这样的知识片段 [BERT和GPT都是NLP领域的重要模型但它们的设计和应用场景有很大的区别。,
大模型和小模型的区别在于其规模和复杂度。大模型通常具有更多的参数和更复杂的结构需要更多的计算资源和时间来训练和推理。而小模型则相对简单参数较少训练和推理速度较快。,
但没有更多的信息来区分这两个产品因为它们看起来非常相似。]显然主体错了那用这些召回的知识肯定也就不对了LLM 利用这些无用的知识也不用给用户很好的回答了。 那么要解决这个问题有什么好的办法呢 首先可以想到的是NLP领域中的一个常见任务指代消解Coreference resolution。指代消解是自然语言处理NLP中的一项重要任务用于确定文本中指代相同实体的词语。该任务旨在识别代词、名词短语等将它们与先前提到的实体关联起来。例如在句子“John saw Mary. He waved to her.”中coreference resolution会将“He”和“John”以及“her”和“Mary”归纳为同一实体。 也许这个任务可以帮助我们解决这个问题但经过实践发现无论是通过 spacy还是 huggingface目前的开源模型处理指代消解这个任务都有一定的局限性只能处理比较简单的场景比如 问1:大模型是什么
问2:它有什么用可以找出“它”指的是“大模型”。然而对于复杂的指代却不能识别出来比如 问1:GPT3是什么
问2:GPT4又是什么时候发布的
问3:二者有什么区别后者有什么优势没法识别出“二者”指的是 GPT3 和 GPT4“后者”指的是“GPT4”。再比如 问1:GPT4又是什么时候发布的
答1:GPT4是在 2023 年发布的
问2:这一年在计算机视觉有什么进展没法识别出“这一年”指的是“2023年”。 也就是说现有的 NLP 小模型只能处理识别“它”“他”“她”“这个”等简单的代词而对于复杂的指代表述没法识别处理。 那该怎么办呢对于复杂语言场景也许最好的处理就是用大模型毕竟 ChatGPT 火爆时可是号称是“让 NLP 不存在的”的终极武器。于是我们可以尝试让 LLM 来做这个指代消解任务。
