从「死记硬背」到「自进化」:Motus2 究竟改变了什么
过去的机器人灵巧操作大多依赖行为克隆,本质上是把状态直接映射到输出结果,模型既不具备物理常识,也无法在遇到未见过的微小扰动时主动改进。要让机器人在真实场景里稳定地完成拧灯泡、撕纸、翻书这类精细动作,仅靠模仿远远不够。
Motus2 的核心思路,是把策略、仿真与评估三类角色合并到同一套「视频—动作」共享权重模型中:
- 策略(世界-动作模型,WAM):根据指令、机器人状态与视觉历史,生成下一步动作。
- 仿真器(动作条件世界模型,AC-WM):给定当前状态与动作,预测未来画面。
- 评估器(价值模型,VM):根据动作与预测结果,判断任务进展与价值。
三者不是各自独立训练的网络,而是同一组参数的共享骨干,通过「动作优先」的因果信息流与掩码机制严格区分:动作只能读取执行前已有的信息,未来视频可以读取动作,价值评估则可以同时读取动作与预测结果。这样既保留了联合训练的优势,也让部署更灵活——日常推理时只需调用策略;遇到复杂任务时,再调用仿真与评估做推理时规划。
在五项真机任务(放置小球、多指操作、贴合橡皮、拧灯泡、放置手机)中,Motus2 的平均成功率达到 84%;在放置手机、多指操作两项高难度任务上,结合基于模型的强化学习与推理时规划,平均成功率从 65% 提升至 75%。
它能为用户带来什么价值
对机器人研发团队、应用集成商与产业用户而言,Motus2 的价值主要体现在三方面:
第一,灵巧操作的稳定性提升。Motus2 引入触觉专家模块,在抽取纸杯、撕纸等接触力敏感任务中,没有触觉时成功率 60%,引入触觉后达到 72.5%,净增 12.5 个百分点。这意味着机器人在面对柔性物体、易滑脱物体时具备更高的鲁棒性。
第二,长时任务的连贯性增强。Motus2 通过长时记忆机制(包括近期帧、初始锚点帧与压缩记忆 token 的混合结构),在长上下文仿真与真机探针任务中,成功率达到 57.5%,显著高于把历史信息简单压缩抹平的方案。对于需要数分钟连续决策的任务,这种记忆能力非常关键。
第三,训练成本有望下降。Motus2 构筑了人类数据金字塔训练体系:第一阶段用单目 Ego 视频学习基础世界知识;第二阶段加入双目视频与动作,学习手-物交互规律;第三阶段通过约 100 多小时的机器人领域对齐数据,将人类经验迁移到机器人空间。在最终任务迁移上,仅用人类数据预训练的平均成功率约为 51%,加入对齐数据后跃升至 84%,提升了 33 个百分点。这意味着可以用相对有限的机器人轨迹数据,借助大规模人类操作视频完成模型预训练,缓解机器人遥操作数据稀缺、成本高昂的问题。
适用场景与边界
从参考材料披露的能力看,Motus2 适合以下场景:
- 需要精细接触力控制的任务,例如撕纸、抽取纸杯、擀面团、拧灯泡。
- 涉及多指协调的操作,例如按键、翻书页、开易拉罐。
- 需要在长时段内保持连贯状态的任务,例如分步骤装配、复杂桌面整理。
- 真实机器人轨迹数据稀缺、但可以借助人类第一视角视频补齐训练样本的项目。
需要明确的是,参考材料也指出,触觉跨本体迁移、长时程预测的绝对稳定性仍是摆在行业面前的开放问题。如果应用场景对毫秒级可靠性要求极高(例如医疗手术),或者任务物理规律与人类日常经验差异显著(例如特殊工业流程),仍然需要额外验证。
选择标准:是否适合引入
在评估是否将 Motus2 纳入技术路线时,可以从以下几个维度判断:
- 任务复杂度。如果任务只是简单的抓取与放置,传统行为克隆已足够;如果任务涉及接触力判断、长时程分支决策,Motus2 的评估与记忆机制才有意义。
- 数据条件。若已有高质量人类第一视角操作视频,可以借助金字塔训练体系降低对机器人轨迹数据的依赖;若完全没有人类操作视频素材,预训练阶段会比较受限。
- 硬件条件。触觉模块的引入需要灵巧手具备可读取的触觉信号;记忆机制的引入对显存与推理算力有更高要求,需评估硬件是否能承载长上下文。
- 闭环能力需求。如果应用要求机器人能在没有人类持续示教的情况下自主改进,Motus2 的 MBRL 与推理时规划能力是关键;如果任务完全固定,无需在线学习,传统方案更轻量。
成本与落地建议
落地过程中,建议按以下顺序推进:
- 优先在仿真环境中复现论文中的关键指标,评估触觉模块与记忆模块的实际收益。
- 在小规模真机任务上做对照实验:仅基础策略、加入 MBRL、加入 MBRL + 推理时规划,分阶段观察成功率变化,确定是否值得投入更多算力与数据。
- 数据准备方面,先收集单目 Ego 视频与双目视频-动作数据作为预训练素材,再补充少量机器人领域对齐数据。
- 触觉模块方面,优先在与现有触觉传感器兼容性较高的灵巧手上试点,再考虑向其他硬件平台迁移。
- 工程上注意「动作优先」因果流与掩码机制的实现细节,避免动作预测过程中提前读取未来帧信息。
如何用起来
目前 Motus2 提供了项目主页与论文作为主要接入入口:
- 项目页面:motus-robotics.github.io/motus2,可获取模型说明、演示视频与最新动态。
- 论文:arXiv 编号 2608.30237,可查阅完整的架构设计、训练流程与实验数据。
- 试用建议:先在项目页面确认开源代码、预训练权重与数据集的可用范围,再结合自身硬件(灵巧手规格、触觉传感器型号、GPU 显存)评估是否需要调整上下文窗口与记忆策略。
- 集成方式:若计划将 Motus2 接入已有的机器人控制栈,建议先保留原有策略通路作为基线,再以 Motus2 的仿真器与评估器作为推理时规划与 MBRL 的外挂模块,逐步替换关键决策环节。
Motus2 验证了一条从「提出动作—预测后果—评估结果—改进策略」的完整闭环,让世界模型不仅能预测画面,还能为决策提供价值信号。对于正在推进灵巧操作落地的团队,它提供了一条可参考的技术路径;但实际收益仍取决于具体任务、数据条件与硬件基础,需结合自身场景谨慎评估。