常熟做公司网站,买个人家的网站绑定自己的域名,二级目录 Wordpress,wordpress qq登录后页面跳转引言
在CVPR24上的教程中#xff0c;微软高级研究员Linjie Li为我们带来了多模态代理的深入探索。这些代理通过整合多模态专家和大语言模型#xff08;LLM#xff09;来增强感知、理解和生成能力。本文总结了Linjie Li的讲座内容#xff0c;重点介绍了多模态记忆、可操作代…引言
在CVPR24上的教程中微软高级研究员Linjie Li为我们带来了多模态代理的深入探索。这些代理通过整合多模态专家和大语言模型LLM来增强感知、理解和生成能力。本文总结了Linjie Li的讲座内容重点介绍了多模态记忆、可操作代理、反馈代理的设计及其应用。
多模态记忆的代理
视频理解中的挑战
为了全面理解视频中的视觉信号需要密集采样帧这会导致长序列输入和高推理成本。因此我们需要多模态记忆来处理这些复杂的任务特别是在需要长时间上下文理解的情况下。例如音频描述任务需要记忆之前提到的内容并且需要在不与视频中的语音信号重叠的情况下进行描述。
多模态记忆的实际应用
在MM Narrator中我们设计了一种用于长视频叙述的代理该代理具有短期和长期记忆。短期记忆包含最近的预测长期记忆包含所有先前的帧和预测。通过计算当前帧与之前帧的相似性可以检索相关的预测并作为多模态上下文示例来生成当前的描述。
可操作代理
图形用户界面GUI导航中的应用
在GUI导航任务中代理需要与交互环境进行动态交互这比静态输入操作更为复杂。例如在MM Navigator中我们利用分割模型标记屏幕上的重要对象并将这些标记与GPT-4的输出连接起来使代理能够精确地点击屏幕上的指定位置。
案例演示
MM Navigator的一个演示展示了如何在手机上执行一系列操作从打开Amazon应用到购买一个指定价格范围内的牛奶起泡器。代理能够正确识别并执行多个步骤展示了在复杂环境中的操作能力。
反馈代理
为什么需要反馈代理
在探索未知环境时代理需要不断自我优化和调整。这种迭代自我优化的过程可以帮助代理在视觉设计和创建任务中生成更高质量的结果。例如Idea2Img代理通过接收环境反馈逐步改进生成的图像最终生成符合用户需求的高质量视觉设计。
实例对比
通过对比单轮人类提示与Idea2Img的迭代优化我们可以看到Idea2Img能够生成更高视觉质量和语义对齐的图像。例如针对一个会议标志的生成任务Idea2Img在多轮优化后能够生成更加准确和详细的标志设计。
总结
多模态代理在过去一年中取得了显著进展从视频理解到GUI导航再到视觉设计和创建这些代理展示了其在复杂任务中的潜力。尽管目前的单一大语言模型或大多模态模型仍然无法完全解决这些任务多模态代理通过引入记忆、反馈和动态交互为解决这些复杂任务提供了新的思路。
未来多模态代理的研究将继续推动大模型的进步同时在系统优化、隐私保护和实际应用中发挥重要作用。随着这些代理技术的不断发展我们可以期待它们在更多实际应用中的广泛应用和进一步提升。 讲座视频https://www.bilibili.com/video/BV1gM4m1U7i6/
