优化网站推广,高校网站建设要点,经纪公司排名,做新闻门户网站需要什么近年来#xff0c;视觉语言基础模型#xff08;Vision Language Models, VLMs#xff09;大放异彩#xff0c;在多模态理解和推理上展现出了超强能力。现在#xff0c;更加酷炫的视觉语言动作模型#xff08;Vision-Language-Action Models, VLAs#xff09;来了#x…近年来视觉语言基础模型Vision Language Models, VLMs大放异彩在多模态理解和推理上展现出了超强能力。现在更加酷炫的视觉语言动作模型Vision-Language-Action Models, VLAs来了通过为 VLMs 加上动作预测模块VLAs 不仅能 “看” 懂和 “说” 清还能 “动” 起来为机器人领域开启了新玩法 清华大学、字节跳动等单位联合发布最新视觉语言动作模型RoboVLMs 观看更多转载,清华大学、字节跳动等单位联合发布最新视觉语言动作模型RoboVLMs虽然 VLAs 在各种任务和场景中表现抢眼但大家在模型设计上却走了很多不同的路比如用什么架构、怎么选数据、怎么调训练策略等等这导致领域内对 “怎么做好一个 VLA” 还没有统一的答案。为了理清这些问题我们通过一系列的实验提出了一个全新模型 ——RoboVLMs。论文标题Towards Generalist Robot Policies: What Matters in Building Vision-Language-Action Models论文地址https://arxiv.org/pdf/2412.14058
这个模型超级简单但性能却相当硬核它不仅在三个模拟任务中取得了高分还在真实机器人实验中交出了满分答卷。这篇文章就是要带你一起看看我们是如何用 RoboVLMs 解锁 VLA 的无限可能四大灵魂拷问RoboVLMs 是怎么炼成的我们围绕四个关键问题对 VLA 的设计展开了深度探索下面就带你看看答案1. 为什么要用 VLA 模型简单说通过实验我们发现设计合理的 VLA 不仅能轻松搞定常见的操作任务还能在陌生场景中稳稳发挥。仿真任务中拿下顶尖成绩在 CALVIN 和 SimplerEnv 环境里RoboVLMs 取得了压倒性的胜利任务成功率表现稳定且超越主流模型。泛化能力即使在陌生场景中表现依然抗打 图 1 SimplerEnv 仿真环境中的评测结果 图 2 针对视觉语言预训练的消融实验结果 真实机器人实验也不输在真实环境中RoboVLMs 面对更复杂的挑战仍然比其他模型表现更好。比如在果蔬分类任务中它不仅能精准识别还能应对干扰环境稳稳完成分类操作。无论是已知场景还是新任务它都能轻松拿下。 图 3 真实环境下的评测结果对于未见过的技能描述、背景、干扰物体和目标物体RoboVLMs 均能很好的完成任务。 2. 怎么设计一个靠谱的 VLA 架构这里面讲究可不少比如动作空间用连续动作空间比离散的好很多。历史信息加多步历史信息后模型的操作更稳准狠。历史信息组织模块一个专门的模块可以让模型更懂 “上下文”。经过一系列实验我们确认了这些设计选择是提升模型性能和泛化能力的关键。进一步的实验也表明最优的设计来自于基于 KosMos 基座模型的架构并且结合了专门的历史信息组织模块。这样的设计在 CALVIN 中实现了出色的泛化能力在 zero-shot 设置下仅有轻微的性能下降而其他设计形式的模型则出现了显著掉分。这一结论直接说明架构设计的好坏对模型的泛化能力和效率至关重要。 3. 选什么基座模型最合适我们对比了当前主流的 8 种视觉语言模型VLM结果发现 KosMos 和 Paligemma 的表现遥遥领先轻松碾压其他模型。无论是任务完成的精确度还是泛化能力它们都展现出了压倒性的优势。究其原因主要得益于它们经过了扎实且全面的视觉语言预训练从而为模型提供了强大的先验知识和理解能力。这一发现让我们更加确信选对基座模型就是让 VLA 模型起飞的关键一步想要让模型在多模态任务中表现惊艳一个经过深度预训练、具备强大视觉语言表征能力的 VLM 基座显然能提供无与伦比的助力。而一旦打好了这个基础后续的设计和训练才能真正发挥最大潜力。 4. 跨本体数据什么时候加入最合适实验告诉我们一个黄金法则在预训练阶段引入跨本体数据如 Open-X Embodiment 数据集可以显著提升模型的鲁棒性和少样本场景下的表现。反之直接将跨本体数据和微调数据混合训练效果就没那么显著了。这些结论为未来 VLA 模型的训练策略指明了方向。具体实验中我们在 WidowXBridge 和 Google Robot 两大环境下分别进行了不同训练策略的测试WidowXBridge 环境Bridge Finetune直接在完整的 Bridge 数据集上微调测试任务不包括在内。OXE Pre-Train先用 OXE 数据集预训练模型。Post-Train用经过 OXE 预训练的模型再在 Bridge 数据集上微调。 Google Robot 环境RT-Partial Finetune仅在特定的 RT 任务上微调。RT Finetune在完整的 RT 数据集上微调包括测试任务。OXE Pre-Train先用 OXE 数据集预训练模型。Post-Train在 OXE 预训练基础上用 RT 数据集进一步训练。
实验结果进一步验证了在预训练阶段引入跨本体数据不仅能提升泛化能力还能让模型在少样本和高复杂任务下表现更佳。 展望未来VLA 的进阶之路虽然 RoboVLMs 已经很能打了但接下来的发展空间更让人期待未来可以探索更细化的设计优化比如再打磨 VLM 内部结构、信息融合模块和训练目标让它更高效。挑战复杂任务像 “做早餐” 这种长链条任务也许是下一个突破点多模态协作能力进一步让机器人 “看懂”、“听清”、“动得更聪明”。 RoboVLMs 的出现验证了视觉语言动作模型的可能性也让机器人更接近成为我们的全能助手。未来它们或许不仅能理解语言和视觉还能真正帮我们完成那些繁琐又复杂的任务。
