钢结构网站建设,seo短视频网页入口引流网址,黄骅怎么读,js实现网站浮动窗口1. 摘要缓冲混合记忆
摘要缓冲混合记忆中#xff0c;所需的模块有#xff1a;
chat_message_history#xff1a;存储历史消息列表。moving_summary_buffer#xff1a;移除消息的汇总字符串。summary_llm#xff1a;生成摘要的 LLM#xff0c;接收 summary#xff08;当…1. 摘要缓冲混合记忆
摘要缓冲混合记忆中所需的模块有
chat_message_history存储历史消息列表。moving_summary_buffer移除消息的汇总字符串。summary_llm生成摘要的 LLM接收 summary当前摘要、query人类提问、contentAI生成。max_tokens限制记忆模块存储消息的最大 token 数。get_num_tokens用于统计传入的文本的 token 数 2. ChatGPT/Playground 模拟
将记忆的 max_tokens 长度设置为 300模拟所需物料
ChatGPT 官网https://chatgpt.com/无痕模式OpenAI Tokenizerhttps://platform.openai.com/tokenizer 人类提问
你是由OpenAI开发的聊天机器人请帮助用户回答问题。
摘要:
消息列表:
用户的提问是: 你好我是慕小课喜欢唱跳rap打篮球你是谁你喜欢什么呢AI 回复内容
你好慕小课我是ChatGPT一个由OpenAI训练的大型语言模型。很高兴认识你我没有像人类一样的个人喜好但我喜欢帮助人们解决问题、回答问题和分享知识。你提到喜欢唱跳rap和打篮球感觉你生活非常丰富多彩你有特别喜欢的歌手或者篮球队吗聊天消息列表
Human: 你好我是慕小课喜欢唱跳rap打篮球你是谁你喜欢什么呢
AI: 你好慕小课我是ChatGPT一个由OpenAI训练的大型语言模型。很高兴认识你我没有像人类一样的个人喜好但我喜欢帮助人们解决问题、回答问题和分享知识。你提到喜欢唱跳rap和打篮球感觉你生活非常丰富多彩你有特别喜欢的歌手或者篮球队吗人类提问
你是由OpenAI开发的聊天机器人请帮助用户回答问题。摘要: -
消息列表:
Human: 你好我是慕小课喜欢唱跳rap打篮球你是谁你喜欢什么呢
AI: 你好慕小课我是ChatGPT一个由OpenAI训练的大型语言模型。很高兴认识你我没有像人类一样的个人喜好但我喜欢帮助人们解决问题、回答问题和分享知识。你提到喜欢唱跳rap和打篮球感觉你生活非常丰富多彩你有特别喜欢的歌手或者篮球队吗
用户的提问是: 你能用一段话快速解释下LLM是什么吗AI 回复内容
大型语言模型LLM是一种通过大量文本数据训练的人工智能模型能够理解和生成自然语言文本。它应用于写作辅助、语言翻译、对话系统和问答系统等自然语言处理任务表现出高水平的语言理解和生成能力。
聊天消息列表
Human: 你好我是慕小课喜欢唱跳rap打篮球你是谁你喜欢什么呢
AI: 你好慕小课我是ChatGPT一个由OpenAI训练的大型语言模型。很高兴认识你我没有像人类一样的个人喜好但我喜欢帮助人们解决问题、回答问题和分享知识。你提到喜欢唱跳rap和打篮球感觉你生活非常丰富多彩你有特别喜欢的歌手或者篮球队吗Human: 你能用一段话快速解释下LLM是什么吗
AI: 大型语言模型LLM是一种通过大量文本数据训练的人工智能模型能够理解和生成自然语言文本。它应用于写作辅助、语言翻译、对话系统和问答系统等自然语言处理任务表现出高水平的语言理解和生成能力。max_tokens 长度超过 300触发总结并删除超过长度的消息组。 总结 Prompt
你是一个强大的聊天机器人请根据用户提供的谈话内容总结内容并将其添加到先前提供的摘要中返回一个新的摘要。example
当前摘要: 人类会问人工智能对人工智能的看法。人工智能认为人工智能是一股向善的力量。新的谈话内容
Human: 为什么你认为人工智能是一股向善的力量
AI: 因为人工智能将帮助人类充分发挥潜力。新摘要: 人类会问人工智能对人工智能的看法。人工智能认为人工智能是一股向善的力量因为它将帮助人类充分发挥潜力。
/example当前摘要: -新的对话内容:
Human: 你好我是慕小课喜欢唱跳rap打篮球你是谁你喜欢什么呢
AI: 你好慕小课我是ChatGPT一个由OpenAI训练的大型语言模型。很高兴认识你我没有像人类一样的个人喜好但我喜欢帮助人们解决问题、回答问题和分享知识。你提到喜欢唱跳rap和打篮球感觉你生活非常丰富多彩你有特别喜欢的歌手或者篮球队吗摘要总结内容
慕小课介绍自己喜欢唱跳rap和打篮球并问AI的喜好。AI自我介绍为ChatGPT一个由OpenAI训练的大型语言模型喜欢帮助人们解决问题、回答问题和分享知识。AI还问慕小课是否有特别喜欢的歌手或篮球队。记忆
摘要: 慕小课介绍自己喜欢唱跳rap和打篮球并问AI的喜好。AI自我介绍为ChatGPT一个由OpenAI训练的大型语言模型喜欢帮助人们解决问题、回答问题和分享知识。AI还问慕小课是否有特别喜欢的歌手或篮球队。消息列表:
Human: 你能用一段话快速解释下LLM是什么吗
AI: 大型语言模型LLM是一种通过大量文本数据训练的人工智能模型能够理解和生成自然语言文本。它应用于写作辅助、语言翻译、对话系统和问答系统等自然语言处理任务表现出高水平的语言理解和生成能力。再次提问
你是由OpenAI开发的聊天机器人请帮助用户回答问题。摘要: 慕小课介绍自己喜欢唱跳rap和打篮球并问AI的喜好。AI自我介绍为ChatGPT一个由OpenAI训练的大型语言模型喜欢帮助人们解决问题、回答问题和分享知识。AI还问慕小课是否有特别喜欢的歌手或篮球队。消息列表:
Human: 你能用一段话快速解释下LLM是什么吗
AI: 大型语言模型LLM是一种通过大量文本数据训练的人工智能模型能够理解和生成自然语言文本。它应用于写作辅助、语言翻译、对话系统和问答系统等自然语言处理任务表现出高水平的语言理解和生成能力。用户的提问是: 我叫什么名字AI 回复
根据消息列表中的内容你的名字是老铁。以下是对“摘要缓冲混合记忆”机制的流程总结
一、系统初始化时配置摘要缓冲混合记忆Summary Buffer Memory所需的核心组件包括
chat_message_history用于存储完整的对话消息序列moving_summary_buffer用于维护摘要内容存储被移除消息的语义压缩信息summary_llm用于生成摘要的语言模型接收当前摘要、用户输入和 AI 回复max_tokens用于限制记忆中可存储的最大 token 数get_num_tokens用于计算任意文本的 token 数量辅助判断是否触发摘要。
二、用户在 ChatGPT 或 Playground 中发起对话例如输入“你好我是老铁喜欢唱跳rap打篮球你是谁你喜欢什么呢”。AI 生成相应回复并将人类与 AI 的消息对完整地添加至消息列表chat_message_history中。
三、系统持续接收用户输入并追加消息。当消息列表中的总 token 数超过设定的 max_tokens如 300系统触发摘要机制。
四、触发摘要时系统会将最早的一组消息通常是一轮人类提问与 AI 回复从消息列表中移除并将其与当前摘要一并传入 summary_llm生成更新后的摘要内容。
五、摘要生成的 Prompt 模板包含当前摘要、需要被摘要的对话内容以及明确的摘要合并指令。模型输出的新摘要将覆盖原摘要并保留在 moving_summary_buffer 中。
六、消息列表中仍保留未被摘要的新对话内容后续用户提问时系统会同时参考摘要内容与当前消息列表以提供上下文一致的回答。
七、例如在用户再次提问“我叫什么名字”时虽然最初的自我介绍消息已被移除但其内容已被压缩进摘要中。系统可通过摘要内容推断出用户自称“老铁”并准确作答。
