大连做公司网站哪家好,山西城乡和建设厅网站,佛系汉化组 wordpress com,logo素材1. 背景
最近比较忙(也有点茫)#xff0c;本qiang~想切入多模态大模型领域#xff0c;所以一直在潜心研读中...
本次的更新内容主要是响应图谱问答集成LLM项目中反馈问题的优化总结#xff0c;对KBQA集成LLM不熟悉的客官可以翻翻之前的文章《LLM应用实战#xff1a;当KBQ…1. 背景
最近比较忙(也有点茫)本qiang~想切入多模态大模型领域所以一直在潜心研读中...
本次的更新内容主要是响应图谱问答集成LLM项目中反馈问题的优化总结对KBQA集成LLM不熟悉的客官可以翻翻之前的文章《LLM应用实战当KBQA集成LLM》、《LLM应用实战当KBQA集成LLM(二)》。
针对KBQA集成LLM项目该系列文章主要是通过大模型来代替传统KBQA的相关功能组件实现知识图谱问答以及如何针对问答效果、多轮对话、响应时间等优化工作总结是妥妥的干货篇感兴趣的客官可以持续关注
本次的主要优化点在于如下
1. 响应时间
项目的验收标准是流式首字的响应时间在3s内而当前服务的平均响应时间在5s-7s之间不符合项目验收标准。
2. 多轮对话
由于当前多轮对话中的指代消解、默认实体或概念对齐均由大模型处理由于基座大模型的不稳定性存在偶现的多轮对话中的对象指代错误的情况。
2. 响应时间优化
2.1 响应时间统计
基于前文展示的流程图针对每个节点进行单次响应时间的统计结果如下 模块 耗时 图谱初始化 558ms(仅第一次会耗时) 候选schema召回 49ms 对齐prompt调用LLM完整响应时间 2800ms 对齐校准 15ms 对话prompt调用LLM首字响应时间 1800ms 可以发现两次调用大模型的响应时间耗时基本都在3s因此重点对LLM调用环节进行优化。
优化方案包括三方面prompt长度缩减、LLM输出结果简化、使用量化版LLM。
2.2 prompt长度缩减
经过分析比对不同文本长度LLM的首字响应时间差别较大尤其是增加安全机制的非公开LLM。
原因也众所周知LLM推理过程是基于前文预测下一个token纵然增加了KV缓存机制、FA2机制较长的prompt首字响应时间必然大于较短prompt因此可以针对prompt长度进行缩减以提高LLM首字响应时间。
由于项目中对齐prompt的平均字符长度为5000字左右且需要等待LLM全部输出结果后方才进行后续流程因此本次优化重点优化对齐prompt中的示例部分。
提供的fewshot示例大概40条且大部分示例和用户当前问题不相关因此将fewshot示例向量化进行存储当用户提问时基于语义相似度将问题与fewshot示例进行pk筛选出语义相似的10条示例作为对齐prompt中的fewshot以达到缩减prompt长度的效果。
实验结果表明将40条fewshot减小为10条响应时间提高0.8s左右。
对话prompt没有进行优化因为对话prompt不需要等待全部结果输出只需要首字响应并流式输出即可。
2.3 LLM输出结果简化
LLM输出结果越长输出全部结果的时间就越长所以针对对齐prompt的输出长度也做了一些优化虽然响应时间提升不高。
原始对齐prompt调用LLM的输出如下
(属性-等于-体重)且(属性值-等于-最大);(属性-等于-食性)且(属性值-等于-肉食性);(概念-等于-恐龙)
主要优化点在于
属性、实体、概念、属性值分别用“P”, “E”, “C”, “V”表示属性、实体、概念中三元组删除“等于”属性值中的等于用“eq”代替且、或分别用“”, “|”表示
因此优化后的LLM输出结果如下
(体重)(V-eq-最大);(P-食性)(V-eq-肉食性);(C-恐龙)
2.4 大模型量化
先前使用的非量化版的LLM更换了INT 8量化版的LLM后LLM的首响及完整响应时间有了质的提升。
其中对齐prompt完整输出结果由先前的2.8s提升至1.6s对话prompt的首响时间由1.8s提升至0.6s。
由于使用的是私有化部署的量化版中间没有安全审核机制再加上量化的有效推理所以响应时间提升非常明显。
2.5 思考
经过上述三方面的优化后平均响应时间2.1s-2.9s之间满足项目的验收标准。但引入的问题还是需要进一步验证。如prompt输入长度缩减、LLM输出结果长度缩减、切换量化版LLM是否引入问答准确性的降低呢
针对该问题基于先前整理的测试集进行测试验证准确率层面效果基本保持不变说明以上优化方法有效
3. 多轮对话效果优化
3.1 示例 怎么辨认慈母龙 它有啥能力 分布在那些地方 海百合是百合么 那它分布在哪里
上述示例为多轮问答在测试验证中运行10次该多轮问答其中会出现2次”那它分布在哪里”中的”它”指代到了”慈母龙”而非正确的”海百合”因为对齐prompt调用LLM后输出了“(E-慈母龙)(P-分布区域)”原因当然可以归咎于LLM的基础能力不足但如何进行优化呢
尝试了两种方案a. 对齐prompt中增加历史参考内容b. 当前问题与历史问题通过LLM比较判定是否二者存在关联性。
3.2 历史参考内容
想法也非常简单LLM直接针对历史的问题和答案进行总结大概率会存在指代不清的问题那么如果将历史的问题以及对应指代的实体或概念作为参考项提供给LLM那么LLM就多了一层参考进而可以提高指代的准确性。
历史参考内容引入到对齐prompt部分内容如下 第一个问题prompt, 历史输入为空ref也为空 历史输入 现在回答 in: 怎么辨认慈母龙 out: 第二个问题prompt, 存在第1个问题及实体当前问题的参考ref为”慈母龙” 历史输入 in: 怎么辨认慈母龙 ref: 慈母龙 现在回答 in: 它有啥能力 ref: 慈母龙 out: 第三个问题prompt, 存在第1,2个问题及实体当前问题的参考ref仍为”慈母龙” 历史输入 in: 怎么辨认慈母龙 ref: 慈母龙 in: 它有啥能力 ref: 慈母龙 现在回答 in: 分布在那些地方 ref: 慈母龙 out: 第四个问题prompt, 存在第1,2,3个问题及实体当前问题的参考ref也为”慈母龙”即将之前的实体继续带入下一轮大模型会根据当前问题结合历史输入进行实体抽取 历史输入 in: 怎么辨认慈母龙 ref: 慈母龙 in: 它有啥能力 ref: 慈母龙 in: 分布在那些地方 ref: 慈母龙 现在回答 in: 海百合是百合么 ref: 慈母龙 out: 第五个问题prompt, 存在前四个问题及实体ref当前为”海百合” 历史输入 in: 怎么辨认慈母龙 ref: 慈母龙 in: 它有啥能力 ref: 慈母龙 in: 分布在那些地方 ref: 慈母龙 in: 海百合是百合么 ref: 海百合 现在回答 in: 那它分布在哪里 ref: 海百合 out:
这样即使是20轮以上的问答LLM也能根据当前ref进行分析比较保障当前问题描述的实体或概念
3.3 当前问题与历史问题关联性分析
理论上通过引入历史参考内容可以有效解决多轮对话中的指代消解问题但由于LLM本身泛化能力问题偶尔会出现ref引入错误的情况例如上述第二个问题当前的ref引入为”海百合、慈母龙”如何针对该问题进行优化呢
原因可能是历史问题存在多个时大模型偶尔无法按照指令针对历史问题进行语义分析因此可以将当前问题与历史中最后一次出现实体或概念的问题进行关联性分析比较是否描述的是同一个对象进而基于分析结果将ref中的内容进一步约束。即如果当前问题与历史最后一次出现的问题的实体相关时则引入历史的实体否则不引入历史实体。
举个例子说明下”怎么辨认慈母龙”和”分布在那些地方”存在关联性(默认第二个问题不存在实体自动引用前一个问题的实体)则ref为”慈母龙”而”怎么辨认慈母龙”和”海百合是百合么”不相关则ref中只保留”海百合”。
关联性分析也是通过prompt调用LLM实现对应的prompt内容如下 你是一个关于自然博物馆的多轮对话的识别器主要用于识别当前问题与历史问题是否在讨论同一个或一组对象以便进一步区分多轮对话的边界请参考如下要求和示例进行输出 1. 输出只能包含是, 否禁止输出其他内容; 2. 一定要结合历史的问题与当前问题进行语义层面分析与比较判断当前问题是否有历史的问题是否在讨论同一个或一组对象如存在指代消解等; 3. 如果输出为是表示当前问题与历史问题存在关联性则表示二者共同; 4. q表示问题a表示输出; 5. 如果当前问题存在它或它们表示存在指代情况则输出是; 6. 如果当前问题没有明确任何询问的对象表示默认使用历史讨论的对象输出是; 7. 如果当前问题存在具体的询问对象且与历史问题不存在指代问题则输出否; 示例如下 示例 q: 怎么辨认慈母龙 q: 有啥能力? a: 是 示例 q: 怎么辨认慈母龙 q: 分布在那些地方? a: 是 示例 q: 怎么辨认慈母龙 q: 海百合是百合么 a: 否 示例 q: 海百合是百合么 q: 那它分布在哪里 a: 是 示例 q: 霸王龙的体长 q: 梁龙有何生活习性 a: 否 现在请根据上述要求及示例针对以下问题进行关联性分析 q: {} q: {} a:
4. 总结
一句话足矣~
本文主要是针对KBQA方案基于LLM实现存在的问题进行优化主要涉及到响应时间提升优化以及多轮对话效果优化提供了具体的优化方案以及相应的prompt。
读者可以按照这套方案进行其他KBQA的构建尝试如有问题可私信沟通。
