机心卷 · 世界补丁日志

Auditing AI peer reviewers: a benchmark on real scientific papers

2026-11-12 AI 辅助 · 人工审校 编号 cand-59cbfb423f53

1. 一句话总结 该论文提出面向真实科学论文的AI审稿人审计基准,通过注入四类、三种严重程度的可定位错误衡量检出率与误报率,并配套推出结合文献检索、符号计算和代码执行的工具增强型…

1. 一句话总结

该论文在真实科学论文中注入可定位的分级错误,系统评测AI审稿人的检出率与误报率,并提出结合文献检索、符号计算和代码执行的工具增强型多智能体审稿器 Skepthical。

2. 核心创新点

  • 构建覆盖“一般问题、数学、数值、引用”四类错误及三个严重度等级的审稿基准,同时测量错误检出率、未修改论文上的误报率,并用跨模型评审与机械验证辅助裁决。
  • Skepthical将引用核验、数学推导和数值计算分别交给检索、计算机代数系统及代码执行工具,形成“模型判断+外部验证”的审稿流程。
  • 在30篇论文、357个注入错误和12种审稿系统上的实验表明:同一提示词下,不同前沿模型的总检出率可相差约50个百分点;工具主要在模型自身能力不足时带来收益,且引用检索优势在天体物理中明显、在机器学习论文中不显著。

3. 潜在应用场景

  • 开发工具:可接入LaTeX编辑器和预投稿检查流程,自动定位公式、数值和参考文献问题;开发者还能利用公开的注入错误、裁决记录和评测代码构建审稿插件或CI工具。
  • 教育与科研训练:适合作为研究生论文写作、引用核验和数学复核训练平台,也可用于比较不同模型在“发现问题”与“避免误报”之间的权衡。
  • 个人科研辅助:独立研究者可用其进行投稿前自检,尤其适合引用真实性和计算结果复核。
  • 传感器与IoT的间接应用:方法可迁移到技术报告、实验日志或规范文档审查,但论文尚未直接验证这些领域,也未直接涉及适老化场景。

4. 在AI知识体系中的位置

该工作主要属于 LLM评测、科学文档理解与工具增强型智能体(LLM Agent),同时涉及 LLM-as-a-Judge、检索增强生成、符号数学验证和可执行代码验证,不属于Physical AI、World Model、Embodied AI或CV。其直接相关工作包括 FLAWS: A Benchmark for Error Identification and Localization in Scientific Papers,二者都关注科学论文中的错误识别与定位;Fantastic Bugs and Where to Find Them in AI Benchmarks 提醒研究者关注合成错误和基准有效性;Are Large Language Models Really Good Logical Reasoners? A Comprehensive Evaluation and Beyond 则与数学、逻辑核验能力评测相关。

局限是样本仅覆盖天体物理和机器学习两个领域,且注入错误虽可定位,未必涵盖创新性不足、论证不充分或研究结论不可信等高层科学问题;跨模型裁决也可能存在共同偏差。

5. 推荐指数

★★★★☆(4.0/5)

  • 新颖性:4/5——真实论文、分级错误、误报率与工具验证形成较完整的评测框架。
  • 实用性:4/5——评测资产公开,对审稿工具和论文检查流程有直接价值。
  • 前瞻性:4/5——展示了多智能体与外部工具协同评估LLM可靠性的方向。
  • 个人可参与度:4/5——独立开发者、教师和研究人员可基于公开资源复现实验或制作轻量审稿插件。

分项均值:4.0/5,与最终★★★★☆一致。

来源:https://arxiv.org/abs/2611.17052v1

原文来源

边界声明 · 这项研究不能证明什么

本文为一手来源的中文编辑导读,结论的适用范围与证据强度以来源原文为准;不构成医疗、投资或其他决策建议。

AIGC 内容说明

本文由 AI 辅助起草,经今山海编辑部人工核对事实、来源与边界后发布。修订与更正将在本页留痕。