Well-Specified and Well-Tested? Assessing SWE-bench-Style Datasets with a Self-Evolving Agent
1. 一句话总结 论文提出自进化数据集质检代理 ExLabel,通过持续积累和复用跨样本判断经验,更准确地评估 SWE-bench 类任务的任务清晰度与测试覆盖度,并证明高质量过…
1. 一句话总结
论文提出自进化数据集质检代理 ExLabel,通过持续积累和复用跨样本判断经验,更准确地评估 SWE-bench 类任务的任务清晰度与测试覆盖度,并证明高质量过滤能改善代码模型的下游问题修复能力。
2. 核心创新点
- 经验驱动的动态评判机制:ExLabel 采用“rollout—reflection—experience update—experience reuse”流程,把历史案例中的判断经验沉淀为可复用准则,弥补静态、通用评分规则难以适应复杂软件任务的问题;这里的“自进化”主要体现为经验库更新,而非基础模型权重持续训练。
- 构建 SWE-TQ 基准:基于 SWE-bench 和 Multi-SWE-bench 的人工标注清洗数据,覆盖八种编程语言,分别衡量任务是否充分描述、测试是否足以验证目标行为,为数据集质量研究提供统一评测基础。
- 同时验证识别效果与数据价值:三个骨干模型上的 F1 均优于基线,任务清晰度和测试覆盖度的相对提升分别达到 44.2%/49.9% 与 24.0%/18.4%;用 ExLabel 过滤 SWE-rebench 数据后,训练出的模型在 SWE-bench Verified 上达到 66.2% 的解决率,论文报告其较最佳基线过滤方案高 14.5%。
3. 潜在应用场景
- 个人开发者与开源维护者(最适合):可对 issue 描述、补丁和测试套件进行自动“体检”,识别描述含糊、测试不足或不可复现的样本,降低自建训练集和评测集的成本。
- 开发工具与工程平台:可集成为 SWE 数据 linter、代码代理评测流水线或 CI 质量门禁,也可用于筛选微调数据、比较不同编程代理在真实仓库上的可靠性。
- 教育与研究:适合作为软件工程、LLM 评测和数据质量课程中的案例,用小规模实验展示“数据质量—模型训练—下游性能”的传导关系。
- 对适老化、传感器和 IoT 没有直接应用,但多语言仓库审计能力可间接用于边缘设备、跨平台应用及智能家居项目的测试数据治理。
4. 在 AI 知识体系中的位置
该工作属于 LLM 软件工程代理(AI for Software Engineering),同时交叉于 智能体记忆与反思、自进化代理、数据中心型 AI、基准测试质量审计。它不是 Physical AI、World Model、CV 或 Embodied AI,核心对象是软件仓库中的自然语言任务、代码补丁与测试。
它可与 Large Language Models for Software Engineering: A Systematic Literature Review 和 Agents in Software Engineering: Survey, Landscape, and Vision 放在软件工程代理的总体图景中;与 OLAF: Towards Robust LLM-Based Annotation Framework in Empirical Software Engineering 对照阅读,可重点比较经验积累机制与鲁棒标注设计;与 Kimi-Dev: Agentless Training as Skill Prior for SWE-Agents 共同体现“高质量软件数据支撑代理训练”的路线;与 BOAD: Discovering Hierarchical Software Engineering Agents via Bandit Optimization 则分别代表经验自进化与结构化代理优化两类思路。
5. 推荐指数:★★★★☆(4/5)
- 新颖性:4/5——经验库用于持续改进数据集判定的设计较有特色。
- 实用性:4/5——既能改善数据清洗,也能通过下游训练实验证明价值。
- 前瞻性:4/5——契合软件工程代理从“刷分”转向可信评测与数据治理的趋势。
- 个人可参与度:4/5——开发者可将其用于开源数据审计、训练集过滤和代理评测。
**均值:4.0/5,对应最终推荐 4 星。**主要限制是仍可能受到 LLM-as-a-judge 偏差、错误经验累积及跨领域迁移稳定性的影响;摘要中的相对提升也不应直接等同于绝对准确率,实际采用前还需考察标注成本、推理开销及人工复核比例。
来源:https://arxiv.org/abs/2610.39417v1
原文来源
- https://arxiv.org/abs/2610.39417v1
来源类型:arXiv 预印本 · 日期:2026-10-29
边界声明 · 这项研究不能证明什么
本文为一手来源的中文编辑导读,结论的适用范围与证据强度以来源原文为准;不构成医疗、投资或其他决策建议。
AIGC 内容说明
本文由 AI 辅助起草,经今山海编辑部人工核对事实、来源与边界后发布。修订与更正将在本页留痕。