机心卷 · 世界补丁日志

Robo-SWE: An Executable Issue-Resolution Dataset Mined from Robot Software Repositories

2026-11-11 AI 辅助 · 人工审校 编号 cand-6d49bf0cb988

1. 一句话总结 Robo-SWE 将真实机器人软件仓库中的合并 PR 转化为可执行、可复现的问题修复基准,填补了现有代码智能体在 ROS 2、仿真引擎和机器人学习框架等专用软件…

1. 一句话总结

Robo-SWE 将真实机器人软件仓库中的合并 PR 转化为可执行、可复现的问题修复基准,填补了现有代码智能体在 ROS 2、仿真引擎和机器人学习框架等专用软件上的评测空白。

2. 核心创新点

  • 从 28 个公开机器人仓库的 1,567 个候选 PR 中筛选出 236 个任务,覆盖 ROS 2 系统、仿真与物理引擎、机器人算法库和机器人学习框架;每项均提供修复前容器、开发者补丁及“修复前失败、修复后通过”的测试。
  • 保留完整的来源追踪账本、拒绝原因、3,540 次代码智能体尝试和 3,529 条轨迹,使数据集不仅能用于排行榜评测,也能支持失败分析、训练与工具链研究。
  • 五个智能体配置的解决率为 43.9%–56.5%,表明机器人软件中的构建系统、跨包契约、并发与时序问题,仍显著难于普通软件修复。

3. 潜在应用场景

  • 个人开发者与开发工具:可本地运行容器化任务,比较不同模型、提示词、检索策略或测试工具,训练面向领域代码的编程智能体;也可用于机器人项目的自动修复、回归测试和 CI 辅助。
  • 机器人团队维护:帮助维护者定位 ROS 2 驱动、消息接口、生命周期和仿真兼容性问题,并筛选可用于人工审核的补丁。
  • 教育与课程实践:适合作为 ROS 2、CMake/colcon、仿真测试及智能体软件工程课程的综合项目,学生既能学习机器人软件栈,也能研究智能体评测。
  • 传感器与 IoT 的间接价值:未来可扩展到传感器驱动、边缘计算和 ROS 2 设备适配代码,但当前数据主要验证离线软件行为,尚未覆盖真实硬件在环测试。

4. 在 AI 知识体系中的位置

该工作主要属于 LLM 编程智能体与软件工程基准/数据集,直接承接 SWE-bench 和 SWE-bench Verified 的可执行问题修复范式。其与 Multi-step SWE: Can Coding Agents Keep Building on Their Own Code Over Long Horizons? 互补:后者关注智能体能否持续扩展已有代码,Robo-SWE 则聚焦机器人领域的一次性缺陷修复。它也能服务 Embodied AI/Physical AI 的软件生命周期,但本身不是机器人感知、控制或世界模型研究,因为任务发生在数字代码和离线仿真环境中,不涉及真实机器人的感知—行动闭环。相比 RobotWorld: Benchmarking Multimodal Agents for Robot Use Across Diverse Tasks and Embodiments,Robo-SWE 评测的是机器人软件维护能力,而不是机器人使用任务中的多模态决策能力。

5. 推荐指数:★★★★☆(4/5)

  • 新颖性:4.5/5——针对机器人软件这一评测空缺构建了可执行基准。
  • 实用性:4.0/5——容器、测试、轨迹和公开排行榜较完整,但任务规模为 236 项。
  • 前瞻性:4.0/5——可作为机器人代码智能体训练与评测的基础设施,但真实硬件和时序覆盖仍有限。
  • 个人可参与度:4.5/5——数据和执行环境公开,开发者、学生和独立团队都能复现或扩展。

均值:4.25/5,按星级取整为 4/5。 论文还明确指出,任务公平性尚待人工评审验证;此外,公开历史数据存在模型训练污染风险,且离线执行不能完全代表真实机器人中的硬件相关行为,因此暂不宜评为五星。

来源:https://arxiv.org/abs/2611.16116v1

原文来源

边界声明 · 这项研究不能证明什么

本文为一手来源的中文编辑导读,结论的适用范围与证据强度以来源原文为准;不构成医疗、投资或其他决策建议。

AIGC 内容说明

本文由 AI 辅助起草,经今山海编辑部人工核对事实、来源与边界后发布。修订与更正将在本页留痕。