机心卷 · 世界补丁日志

On Agentic Manipulation Policies

2026-11-06 AI 辅助 · 人工审校 编号 cand-67c12661a950

1. 一句话总结 AMP1将通用多模态大模型作为在线闭环的机器人操作策略,通过统一感知—推理—运动接口直接调度机械臂,在无需示范训练或任务专用微调的情况下实现零样本操作,并可借助…

1. 一句话总结

AMP1将通用多模态大模型作为在线闭环的机器人操作策略,通过统一感知—推理—运动接口直接调度机械臂,在无需示范训练或任务专用微调的情况下实现零样本操作,并可借助跨回合记忆持续改进。

2. 核心创新点

  • 论文系统提出“代理式操作策略(AMPs)”范式:模型根据实时观测反复调整动作,而非像VLA或WAM那样仅执行预先学习的动作映射;AMP1同一套框架可覆盖单臂、双臂和移动操作。
  • 在RoboLab-120上取得85.6%的零样本成功率,高于所比较VLA的49.2%和WAM的42.9%;真实机器人实验成功104/108次,并涌现出寻找隐藏物体、借助工具、推移后抓取、自校准腕部相机等行为。
  • 分析表明模型选择对性能影响最大,推理能力普遍有益;辅助脚本会帮助较弱模型,却可能限制较强模型。加入跨回合记忆后,RoboDojo双臂任务失败率降低4.6倍。

3. 潜在应用场景

  • 开发工具:AMP1可作为通用机器人代理运行时,连接多模态模型API、相机、机械臂SDK、Python工具调用、日志回放和长期记忆,方便开发者快速构建操作代理,而不必先收集大规模示范数据。
  • 教育:可围绕RoboLab、CaP-Gym等环境开展具身智能、视觉语言动作、主动感知和持续学习课程;学生也能通过仿真框架理解“观测—推理—控制”闭环。
  • 适老化与家庭辅助:适合探索取物、开门、寻找被遮挡物品、整理物品等任务;主动搜索和相机自校准对家庭环境尤其有价值,但目前仍需补充碰撞检测、异常停止和隐私保护机制。
  • 传感器与IoT:论文涉及腕部相机标定、缺失几何重建、多相机配置及环境约束推断,可与家庭摄像头、移动机器人和边缘设备结合。其“直接控制”仍依赖统一运动接口,并非从像素直接输出力矩。

4. 在AI知识体系中的位置

该工作属于 Embodied AI/Physical AI/多模态大模型代理,同时与VLA、WAM、模仿学习、工具使用、主动感知和持续学习等方向交叉。它与《World Action Planner: Generalizable Decision-Making with Action-Conditioned World Models》所代表的动作条件世界模型路线形成对比:AMP不依赖专用动作模型,而是让通用模型在执行过程中利用环境反馈调整策略。

《LACY: A Vision-Language Model-based Language-Action Cycle for Self-Improving Robotic Manipulation》与本文的记忆改进机制较为接近;《Profiling a Frontier Agent with EBench: From Direct Control to Harness with Policy》同样关注通用模型直接控制与代理框架设计;《VLABench: A Large-Scale Benchmark for Language-Conditioned Robotics Manipulation with Long-Horizon Reasoning Tasks》则提供了长时程语言条件操作评测背景。总体上,AMP1是在“专用学习策略”之外,开辟了“通用模型+代理框架+在线反馈”的机器人策略路线。

5. 推荐指数

★★★★☆(4/5)

  • 新颖性:4/5——AMP范式和跨 embodiment 统一框架有较强概念贡献,但通用模型直接控制机器人此前已有探索。
  • 实用性:4/5——仿真、真实机器人及记忆实验较完整,但性能高度依赖模型版本、推理成本与代理框架。
  • 前瞻性:5/5——推动机器人操作从示范驱动的专用策略转向具备推理、主动感知和经验积累的通用代理。
  • 个人可参与度:4/5——仿真环境和参考框架适合开发者与学生使用;真实部署仍受机械臂成本、模型调用费用及安全限制。

均值:4.25/5,最终推荐:4/5。 论文目前更适合作为通用机器人代理的方法与系统研究方向;其真实世界样本量仍有限,且模型与供应商版本变化可能显著影响复现结果。

来源:https://arxiv.org/abs/2611.09892v1

原文来源

边界声明 · 这项研究不能证明什么

本文为一手来源的中文编辑导读,结论的适用范围与证据强度以来源原文为准;不构成医疗、投资或其他决策建议。

AIGC 内容说明

本文由 AI 辅助起草,经今山海编辑部人工核对事实、来源与边界后发布。修订与更正将在本页留痕。