SO-Arena: Benchmarking the Capability Spectrum and Reliability of System One Models
1. 一句话总结 SO-Arena将低延迟、单次前向输出的“System One”模型纳入统一评测,同时刻画其跨领域能力、交互执行能力和决策可靠性,并揭示了模型准确率高并不等于决…
1. 一句话总结
SO-Arena将低延迟、单次前向输出的“System One”模型纳入统一评测,同时刻画其跨领域能力、交互执行能力和决策可靠性,并揭示了模型准确率高并不等于决策稳定。
2. 核心创新点
- 基准覆盖语义理解、知识推理、安全合规、证据评估和智能体任务完成五类能力,通过可核验来源、人工校验参考答案及分难度设计,提高任务区分度与标注可信度。
- 除选择题外,引入工具调用、网页操作等沙盒交互任务,考察模型作为任务执行者和结果验证者的能力,同时保留推理型任务以比较System One与System Two。
- 将可靠性拆分为选项重排稳定性和“缺失正确答案识别”两项指标;对21个模型的实验显示,不同领域对规模扩展和额外推理的收益差异明显,而最佳System One模型的可靠性仅排第七。
3. 潜在应用场景
- 开发工具:可作为模型选型、路由决策、工具/API调用、检索重排和任务完成验证的评测工具,也可用于持续集成中的模型回归测试。
- 智能体与工作流:适合评估低延迟代理在请求分流、流程控制、结果核验和网页自动化中的实际表现。
- 教育:可用于讲解“平均准确率与决策可靠性是不同维度”,支持模型评测、选择性和不确定性判断方面的课程或实验设计。
- 边缘计算与IoT:其低延迟特性适合作为设备端请求路由或规则触发层,但论文没有直接验证传感器、机器人或嵌入式部署。
- 适老化辅助:可作为语音助手、提醒服务或设备控制中的决策模块候选;涉及安全关键场景时,仍需单独验证错误识别和人工接管机制。
4. 在AI知识体系中的位置
该工作主要属于LLM评测、智能体评测与快速推理模型评测,连接了System One低延迟推理、System Two测试时计算、智能体工具使用,以及鲁棒性/选择性预测等方向;它不是新的模型架构,也不以Physical AI、World Model、CV或实体具身智能为核心。
相较《OmniaBench: Benchmarking General AI Agents Across Diverse Scenarios》,SO-Arena更聚焦低延迟System One模型,并专门测试选项扰动下的可靠性;《OpenDataArena: A Fair and Open Arena for Benchmarking Post-Training Dataset Value》关注后训练数据价值,而本文关注模型的能力—可靠性画像。《Speech DF Arena: A Leaderboard for Speech DeepFake Detection Models》和《SoM-1K: A Thousand-Problem Benchmark Dataset for Strength of Materials》代表领域专用评测路线,SO-Arena则以跨域能力谱和决策稳定性形成补充。
局限在于:基于选项的稳定性不能完全代表开放环境中的事实可靠性,沙盒任务与真实生产流程仍有差距,闭源API更新也会影响复现和横向比较。
5. 推荐指数
★★★★☆(4/5)
- 新颖性:4.0/5——可靠性双指标本身并非全新,但将其与System One模型、分难度能力和交互沙盒整合为统一基准,设计较完整。
- 实用性:4.5/5——可直接支持路由、工具调用和验证模块的模型选型。
- 前瞻性:4.0/5——顺应快速推理模型部署趋势,强调准确率之外的可靠性。
- 个人可参与度:4.5/5——开发者可利用公开任务、沙盒和排行榜开展评测及回归实验。
平均分:4.25/5,最终推荐:★★★★☆。
来源:https://arxiv.org/abs/2611.15777v1
原文来源
- https://arxiv.org/abs/2611.15777v1
来源类型:arXiv 预印本 · 日期:2026-11-11
边界声明 · 这项研究不能证明什么
本文为一手来源的中文编辑导读,结论的适用范围与证据强度以来源原文为准;不构成医疗、投资或其他决策建议。
AIGC 内容说明
本文由 AI 辅助起草,经今山海编辑部人工核对事实、来源与边界后发布。修订与更正将在本页留痕。