凡科免费个人做网站有弊吗,做夜夜做网站,企业做网站的痛点有哪些,腾讯企点有什么用前言
2023年7月#xff0c;我司组建大模型项目开发团队#xff0c;从最开始的论文审稿#xff0c;演变成目前的两大赋能方向
大模型应用方面#xff0c;以微调和RAG为代表 除了论文审稿微调之外#xff0c;目前我司内部正在逐一开发论文翻译、论文对话、论文idea提炼、论…前言
2023年7月我司组建大模型项目开发团队从最开始的论文审稿演变成目前的两大赋能方向
大模型应用方面以微调和RAG为代表 除了论文审稿微调之外目前我司内部正在逐一开发论文翻译、论文对话、论文idea提炼、论文修订/润色/语法纠错、论文检索机器人(具身智能)方面我们1月份开始攻机器人、Q1组建队伍、5月份成功复现UMI和DexCap后「是国内最早复现这两模型的团队或之一为不断扩大整个大模型机器人的开发队伍需要从课程中选拔更多人才故推出机器人二次开发线下营(线下提供价值20万的实体机器人 供线下实操)」 本月(即6月)总算要开始为工厂赋能了(目前已经谈好三个工厂的合作意向)
总之经过过去近一年的努力在今年创业的第十年我司从教育为主变成了「科技为主 教育为辅」主做大模型应用、机器人(具身智能)、解决方案
而对于其中的机器人无论是我、我合伙人孙老师、Y博士(我司机器人方向的合伙人)还是整个机器人开发团队对具身智能的发展都充满无比的信心誓要全力加速赋能各个典型的工业场景毕竟科技就是最直接的生产力
本文中的DexCap一开始是在此文《模仿学习的集中爆发从Dobb·E、Gello到斯坦福Mobile ALOHA、UMI、DexCap、伯克利FMB》中的考虑到
一方面经过我司七月的一系列实践得知相较Moblie Aloha、UMI「其中UMI详见UMI——斯坦福刷盘机器人从手持夹持器到动作预测Diffusion Policy(含代码解读)」DexCap在工厂的落地性更高可以更好的结合企业特定的需求场景做定制开发二方面我们准备把DexCap的源码也做下分析以方便更广大的朋友
故把DexCap独立出来成本文 第一部分 斯坦福李飞飞团队DexCap可扩展和便携的动作捕捉数据收集系统
1.1 项目背景遇到的问题与解决方案
1.1.1 以前收集数据从远程操作、基于视觉到运动捕捉
首先对于数据的收集上通过上面介绍的斯坦福mobile aloha/UMI可知模仿学习最近在机器人领域取得了相当大的进展特别是通过使用人类示范数据进行监督训练
常用的一种收集数据的方法是通过远程操作机器人手执行任务 比如mobile aloha。 然而由于需要真实的机器人系统和缓慢的机器人运动这种方法在扩展上是昂贵的另一种方法是在操作过程中直接跟踪人手的运动而不控制机器人。 当前系统主要是基于视觉的使用单视角摄像头。 然而除了跟踪算法能否提供关键的准确的三维信息以供机器人策略学习之外这些系统还容易受到在手-物体交互过程中经常发生的视觉遮挡的影响对于收集灵巧操纵数据运动捕捉(mo-cap)是一种比基于视觉的方法更好的选择。 运动捕捉系统提供准确的三维信息并且对视觉遮挡具有鲁棒性。 因此人类操作员可以直接用双手与环境进行交互这样做快速且更容易扩展因为不需要机器人硬件
进一步为了将手部运动捕捉系统扩展到机器人学习的日常任务和环境中进行数据收集一个合适的系统应该具备便携性和长时间捕捉的鲁棒性能够提供准确的手指和腕关节姿态以及三维环境信息可问题是
大多数手部运动捕捉系统不具备便携性依赖于校准良好的第三视角摄像头虽然电磁场(EMF)手套解决了这个问题但无法跟踪世界坐标系中的6自由度(6-DoF)腕关节姿态这对于末端执行器(比如手指)的策略学习很重要像基于IMU(Inertial Measurement Unit惯性测量单元主要用来检测和测量加速度与旋转运动的传感器)的全身套装这样的设备可以监测腕关节位置但容易随时间漂移
除了硬件挑战外还存在算法挑战用于机器人模仿学习的动作捕捉数据。 尽管灵巧的机器人手使得直接从人类手部数据中学习成为可能但机器人手和人类手之间的尺寸、比例和运动结构的固有差异需要创新算法
1.1.2 DEXCAP如何解决便捷式动作捕捉、学习算法DEXIL、人机交互校正
为了分别解决硬件层面、算法层面的挑战24年3月李飞飞团队分别开发了一种新的便携式手部动作捕捉系统DEXCAP和一种模仿算法DEXIL(DEXIL允许机器人直接从人类手部动作捕捉数据中学习灵巧操纵策略)
项目地址DexCap | Scalable and Portable Mocap Data Collection System for Dexterous Manipulation论文地址DexCap: Scalable and Portable Mocap Data Collection System for Dexterous Manipulation
对于系统DEXCAP作为便携式手部动作捕捉系统可以实时跟踪手腕和手指运动的6自由度姿态(60Hz)该系统包括 一个动作捕捉手套用于跟踪手指关节每个手套上方安装一个相机用于通过SLAM跟踪手腕的6自由度姿态并在胸部安装一个RGB-D LiDAR相机观察3D环境(注意手部动作的精确3D信息例如6自由度手部姿态、3D手指定位等很重要)
对于算法为了利用DEXCAP收集的数据来学习灵巧机器人策略作者团队提出了基于动作捕捉数据的模仿学习方法DEXIL它包括两个主要步骤——数据重定位和基于点云输入的生成式行为克隆策略训练(data retargeting and training generative-based behavior cloning policy with point cloud inputs)还可以选择性地进行人机交互式运动校正
在重定位过程中我们使用逆运动学(inverse kinematics简称IK)将机器人手指尖重定位到与人类手指尖相同的3D位置 手腕的6自由度姿态用于初始化IK以确保人类和机器人之间的手腕运动相同然后我们将RGB-D观测转换为基于点云的表示继而使用基于点云的行为克隆算法基于扩散策略[13]在更具挑战性的任务中当IK无法填补人类手和机器人手之间的体现差距时我们提出了一种人机交互式运动校正机制即在策略执行过程中当出现意外行为时人类可以佩戴DEXCAP并中断机器人的运动这样的中断数据可以进一步用于策略微调
总之不同于以下这些
DIME [3] 使用虚拟现实技术来远程操作灵巧手进行数据收集Qin等人 [60] 使用单个RGB摄像头来跟踪手部姿态进行远程操作DexMV [61]、DexVIP [45] 和 VideoDex [69]利用人类视频数据来学习运动先验知识但通常需要在仿真或真实机器人远程操作数据上进行额外训练
DEXCAP专注于灵巧模仿学习依赖于 DEXCAP 来收集基于三维点云观测的高质量手部动作捕捉数据这些数据可以直接用于训练单手或双手机器人的低级位置控制
1.2 硬件设备数据捕捉设备和机器人的设计
DexCap为了捕捉适合训练灵巧机器人策略的细粒度手部动作数据DexCap的设计考虑了四个关键目标
详细的手指运动跟踪准确的6自由度手腕姿态估计以统一坐标框架记录对齐的3D观察数据在各种真实环境中具有出色的便携性以进行数据收集
1.2.1 追踪手指运动使用Rokoko动作捕捉手套
经过实验得知使用电磁场手套相比于基于视觉的手指追踪系统在手物交互中对视觉遮挡的鲁棒性方面具有显著优势(论文中对电磁场手套系统和最先进的基于视觉的手部追踪方法在不同操纵场景下进行了定性比较)
在我们的系统中手指运动使用Rokoko动作捕捉手套进行跟踪如下图所示 每个手套的指尖都嵌入了一个微小的磁传感器(Each glove’s fingertip is embedded with a tiny magnetic sensor)而信号接收器则放置在手套的背面(while a signal receiver hub is placed on the glove’s dorsal side)每个指尖的三维位置是从接收器到传感器的相对三维位移来测量的(The 3D location of each fingertip is measured as the relative 3D translation from the hub to the sensors)
1.2.2 追踪6自由度手腕姿态2个T265追踪相机和一个IMU传感器
除了手指运动外了解机器人末端执行器在三维空间中的精确位置对于机器人操控至关重要。这需要DEXCAP用于估计和记录人手在数据收集过程中的6自由度姿态轨迹。 虽然基于相机和基于IMU的方法通常被使用但每种方法都有其局限性
基于相机的系统通常不便携且在估计手腕方向能力上有限不太适合用于操纵任务的数据收集基于IMU的系统虽然可穿戴但在长时间记录会话中容易出现位置漂移
为了解决这些挑战故开发了一种基于SLAM算法的6自由度手腕跟踪系统如上图(c)所示
该系统逐一通过
安装在每个手套背面的Intel Realsense T265相机「即两个鱼眼相机的图像(一篮、一绿)」 从而让其是便携的可以在第三人称摄像机框架中无需手部可见的情况下跟踪手腕姿态IMU传感器信号(IMU传感器提供了训练机器人策略所需的关键手腕方向信息)SLAM算法构建环境地图 SLAM可以自动根据建立的地图纠正位置漂移以实现长时间使用(SLAM can autonomously correct position drift with the built map for long-time use)
以实现对手腕6自由度姿态的一致跟踪
1.2.3 记录3D观察和校准一个RGB-D LiDAR摄像机和一个T265跟踪相机
捕捉训练机器人策略所需的数据不仅需要跟踪手部运动还需要记录3D环境的观察作为策略输入
为此DexCap团队设计了一个装载摄像机的背包「如上图(a)、(b)所示为方便大家对照特把上图再贴一下如下」 在正前面它通过胸部摄像机支架的4个插槽集成了4个相机顶部是一台Intel Realsense L515 RGB-D LiDAR摄像机顶部下面是3个Realsense T265鱼眼SLAM跟踪相机(分别为红、绿、蓝)用于在人类数据收集过程中捕捉观察结果 其中 LiDAR相机和最上面的T265相机(红色)固定在相机支架上 而两个较低的(即绿色、蓝色)T265相机设计为可拆卸的并可以固定在手套的背部进行手部6自由度姿态跟踪 在正背面一个Intel NUC(Intel NUC 13 Pro相当于就是一台带有64GB RAM和2TB SSD的迷你电脑)和一个40000mAh的移动电源放在背包中支持长达40分钟的连续数据收集
接下来的关键问题是如何有效地将跟踪的手部运动数据与3D观察结果进行整合 在数据收集开始时所有跟踪摄像机都放置在支架槽中(即一开始时所有摄像头都安装在胸前。 在启动程序后参与者在环境中移动几秒钟使SLAM算法构建周围环境的地图)以确保相机框架之间的恒定变换(如上图左侧所示)然后我们将跟踪摄像机从支架上取下(一绿、一蓝)并插入到每个手套上的相机插槽中(如上图右侧所示) 此外为了在人体运动中确保稳定的观察结果LiDAR摄像机下方安装了另一个鱼眼跟踪摄像机「在上图中标为红色」
当然DexCap的硬件设计模块化且成本低廉不限制相机、动作捕捉手套和迷你PC的品牌或型号总成本控制在4000美元的预算范围内(不包括机械臂)
1.2.4 双手灵巧机器人的设计双机械臂、双LEAP机器手
为了验证通过数据训练的机器人策略是否OK接下来建立一个双手灵巧的机器人系统
该系统由两个Franka Emika机器人臂组成每个臂上配备有一个LEAP灵巧机器人手(一个有16个关节的四指手)如图(b)所示 为了进行策略评估如上图图(b)所示人类数据收集中使用的胸部LiDAR相机被从背心上取下并安装在机器人臂之间的支架上(对于机器人系统只使用LiDAR相机不需要手腕相机。 机器人臂和LEAP手都以20Hz的控制频率运行同时使用末端执行器位置控制和关节位置控制来控制两只机械臂和两只LEAP手即use end-effector position control for both robot arms and joint position control for both LEAP hand)
1.3 学习算法DEXIL数据的重定向与基于点云数据的策略预测
接下来使用DexCap记录的人手动作捕捉数据来训练灵巧机器人策略然后我们会遇到这几个问题
我们如何将人手动作重新定位到机器人手上在双手设置中当动作空间是高维的时候什么算法可以学习灵巧策略此外我们还希望研究直接从人手动作捕捉数据中学习的失败案例及其潜在解决方案
为了解决这些挑战我们引入了DEXIL这是一个使用人手动作捕捉数据训练灵巧机器人的三步框架
第一步是将DexCap数据重新定位到机器人的动作和观察空间中第二步使用重新定位的数据训练(基于点云的扩散策略)最后一步是一个可选的human-in-the-loop correction机制旨在解决策略执行过程中出现的意外行为
1.3.1 数据和动作重定向人手的动作重定向到机器手上
动作重定向 如上图(a)所示由于人手和LEAP手的尺寸差异很大而这种尺寸差异使得不好直接将手指运动转移到机器人硬件上故需要先将人手动作捕捉数据重新定向到机器人实体上这需要使用逆运动学(IK)将手指位置和6自由度手掌姿态进行映射
先前研究中的一个关键发现是在与物体互动时手指尖是手上最常接触的区域(如HO-3D [25]、GRAB [76]、ARCTIC [16]等研究所证明的)。 受此启发我们通过使用逆运动学(IK)来匹配手指尖位置重新定向手指运动
具体而言我们使用一种能够实时生成平滑准确的手指尖运动的IK算法[63, 64, 79]以确定机器人手的16维关节位置。 这确保了机器人手指尖与人手指尖的对齐
考虑到LEAP手和人手不一样其只有4个手指故在人手到机器手的IK计算过程中排除了人手中小指的信息 此外在动作捕捉数据中捕捉到的6自由度手腕姿态作为IK算法中手腕姿态的初始参考 首先把手腕的6自由度姿态和LEAP手的手指关节位置共同被用作机器人的本体感知状态 然后使用位置控制比如把机器人的动作标签被定义为下一个未来状态「We use position control in our setup and the robot’s action labels are defined as next future states at st1」观察和状态表示的选择对于训练机器人策略至关重要 最终他们将LiDAR相机捕捉到的RGB-D图像转换为3D点云(We convert the RGB-D images captured by the LiDAR camera in the DEXCAP data into point clouds using the camera parameter) 且所有点云观测都被均匀地降采样为5000个点并与机器人的感知状态和动作一起存储在一个hdf5文件中。 然后从整个录制会话(每个任务演示10分钟)中手动注释每个任务演示的起始和结束帧。 训练数据集中不包括重置任务环境的运动 如下图所示 初始列显示原始点云场景。 第2-7列提供右、中、左三组视图(两个视图一组)且三组视图中每一组视图中的蓝色背景列显示人体数据黄色背景列显示机器人手部重定位 与RGB-D输入相比这种额外的转换有两个重要的好处 首先由于DEXCAP允许人体躯干在数据采集过程中自然移动而直接使用RGB-D输入需要考虑用于移动相机框架 但通过将点云观测转换为一致的世界坐标系(在mocap开始时红色主SLAM相机的坐标系定义为世界坐标系)便可隔离并消除了躯干运动从而得到稳定的机器人观测 其次点云在编辑和与机器人操作空间对齐方面具有更高的灵活性(过程中通过比较PointNet[58]和Perceiver [35, 42]编码器来确定最适合点云输入的编码器) 考虑到在野外捕捉到的一些动作可能超出机器人的可达范围调整点云观测和运动轨迹的位置可以确保它们在机器人的操作范围内可行 故最终基于以上这些发现将mocap数据中的所有RGB-D帧处理为与机器人空间对齐的点云并排除与任务无关的元素(例如桌面上的点) 因此这些经过精细处理的点云数据成为输入到机器人策略π的观测输入
1.3.2 基于点云的扩散策略
通过转换后的机器人状态 、动作 和相应的三维点云观测 我们将机器人策略学习过程形式化为轨迹生成任务
对于策略模型π通过处理点云观测和机器人当前的本体感知状态以生成一个动作轨迹「an policy model π, processes the point cloud observations ot and the robot’s current proprioception state st into an action trajectory (at, at1, . . . , atd) 」 在中给定具有N 个点的点云观测然后将其均匀下采样为K 个点并将每个点对应的RGB像素颜色连接到最终的策略输入中(Given point cloud observation with N points ot in RN ×3, we uniformly down-sample it into K points and concatenate the RGB pixel color corresponding to each point into the final policy input in RK×6)为了弥合人手和机器人手之间的视觉差距使用正向运动学将机器人模型的链接与本体感知状态进行转换并将转换后的链接的点云合并到观测中 且在训练过程中我们还通过在机器人的操作空间内对点云和运动轨迹应用随机的二维平移来进行数据增强(During training, we also use data augmentation over the inputs by applying random 2D translations to the point clouds and motion trajectories with in the robot’s operational space)
学习灵巧机器人策略的一个挑战特别是对于双手灵巧机器人是处理大维度的动作输出
在对应的设置中动作输出包括两个7自由度机器人臂和两个16自由度灵巧手在d个步骤中的动作形成了一个高维回归问题(which forms a high-dimensional regression problem) 类似的挑战也在图像生成任务中进行了研究该任务旨在回归高分辨率帧中的所有像素值(which aim to regress all pixel values in a high-resolution frame)最近扩散模型通过其逐步扩散过程在建模具有高维数据的复杂数据分布方面取得了成功比如AI绘画 对于机器人技术扩散策略「详见此文《UMI——斯坦福刷盘机器人从手持夹持器到动作预测Diffusion Policy(含代码解读)》的第三部分」遵循相同的思路 从而将控制问题形式化为动作生成任务(For robotics, Diffusion Policy [ Diffusion policy: Visuomotor policy learning via action diffusion] follows the same idea and formalizes the control problem into an action generation task) 总之一方面使用扩散策略作为动作解码器经验证它在学习灵巧机器人策略方面优于传统的基于MLP的架构(比如基于MLP的BC-RNN策略)如下表中后5行的效果均高于前4行的结果 二方面将DP-perc作为DEXIL的默认模型架构「其中1 基于点云的学习算法(下表中最后三行的DP-point-rawDP-pointDP-prec)不需要遮挡mask观测且都实现了超过60%的任务成功率2即使不添加机器人手部点下表中倒数第三行的DP-point-raw的性能也接近DP-point。这可能是因为点云输入的下采样过程降低了人类手套和机器人手之间的外观差距」 至于图像输入方法使用ResNet-18 [29]作为图像编码器。 对于基于扩散策略的模型则使用去噪扩散隐式模型DDIM进行去噪迭代 至于其他模型的选择及其他参数详见下图 在每次机器人动作之后我们计算机器人当前自我感知与目标姿态之间的距离。 如果它们之间的距离小于一个阈值认为机器人已经达到了目标位置并将查询策略获取下一个动作 为了防止机器人变得空闲如果它在规定的步数内未能达到目标姿态将重新查询策略获取后续动作一般在实验中将步数设定为10 1.3.3 人机协同校正
通过上述设计DEXIL可以直接从DEXCAP数据中学习具有挑战性的灵巧操控技能(例如拾取和放置以及双手协调)而无需使用机器人数据
然而简单重定位的方法并未解决人机融合差距的所有方面。例如使用剪刀时稳定地握住剪刀需要将手指深入握柄。 由于机器手指与人手之间长度比例的差异直接匹配指尖和关节运动并不能保证对剪刀施加相同的力
为了解决这个问题我们提供了一种人在环路中的运动校正机制包括两种模式-残差校正和远程操作。在策略执行过程中我们允许人们通过佩戴DEXCAP实时向机器人提供校正动作(其中人类对策略生成的动作应用残差动作来纠正机器人行为。 纠正动作被存储在一个新的数据集中并与原始数据集均匀采样用于对机器人策略进行微调)
在残差模式下DEX-CAP测量人手相对于初始状态在策略展开开始时的位置变化 位置变化被应用为残差动作到机器人策略动作通过和进行缩放 然后可以将校正后的机器人动作形式化为 且经验性地发现设置小尺度的 β( 0.1)可以提供最佳用户体验避免手指移动过快在需要大幅度位置变化时踩下脚踏板将切换系统到遥操作模式。则此时DEXCAP将不再使用之前的策略推理而是直接将人类手腕变化应用于机器人手腕姿态(DEXCAP now ignores the policy rollout and applies human wrist delta directly to the robot wrist pose)机器人指尖现在直接跟随人类指尖相当于直接遥控 换句话说机器人指尖将在各自的手腕坐标系中通过逆运动学追踪人类指尖。用户还可以通过再次踩下脚踏板来在纠正机器人错误后切换回剩余模式 由于机器人已经学习了初始策略还可以在一小部分回滚中进行校正从而大大减少人力投入。 校正后的动作和观察结果存储在一个新的数据集中。 训练数据是从和原始数据集中以等概率抽样的方式进行的以微调策略模型类似于IWR [Human-in the-loop imitation learning using remote teleoperation]
1.4 数据
最终我们使用三种数据类型(分别得到了201、129和82个演示)
DEXCAP数据捕捉机器人操作空间内的人手动作 比如剪刀剪裁和泡茶任务分别获得了一个小时的DEXCAP数据分别产生了104和55个演示室外DEXCAP数据来自实验室外环境 比如一个小时的室外DEXCAP数据提供了96个演示使用脚踏板收集human-in-the-loop correction data用于调整机器人动作或启用远程操作以纠正错误human-in-the-loop correction data for adjusting robot actions or enabling teleoperation to correct errors, col-lected using a foot pedal
数据最初以60Hz记录然后降采样到20Hz以匹配机器人的控制速度纠错数据直接以20Hz收集
最后对于机器人的控制而言采用Position control以分层结构的方式进行
在高层次上学习策略生成下一步的目标位置该位置包括机器人双臂末端执行器的6自由度姿态和双手16维手指关节位置在低层次上操作空间控制器(OSC)[A unified approach for motion and force control of robot manipulators: The operational space formulation]连续地插值将机械臂轨迹移动到高层次指定的目标位置并将插值的OSC动作传递给机器人执行 第二部分 DexCap的源码剖析
// 待更
