Beyond Scalar Leaderboards: Adaptive Sampling for Pareto Frontier Identification in Multi-Objective LLM Arenas
1. 一句话总结 论文提出 VB-EGE:在多目标 Bradley–Terry 偏好模型下,自适应分配 Arena 成对比较,以近最少的比较次数和指定置信度识别大语言模型的严格帕…
1. 一句话总结
论文提出 VB-EGE 自适应比较算法,在数学、代码、写作、视觉等多个偏好维度上以更少的人类成对反馈识别大模型的严格帕累托前沿,并在理论上达到近似最坏情形最优的样本复杂度。
2. 核心创新点
- 将多目标成对偏好比较转化为向量化的 Borda 统计量与分类间隙,避免用人工加权总分粗暴压缩不同能力维度。
- 采用分阶段的 Empirical-Gap Elimination:只有积累足够证据后才淘汰已确认不在前沿的模型,从而兼顾比较效率与识别可靠性。
- 在多目标 Bradley–Terry 模型下给出固定置信度保证、实例相关样本复杂度上界及近似最优下界,并在 Arena、SearchArena、VisionArena 数据上验证。
3. 潜在应用场景
- 开发工具与模型选型:个人开发者可比较多个模型在不同任务上的取舍,自动形成“代码选A、写作选B、视觉选C”的模型组合或任务路由器,而不再只依赖单一总榜。
- 评测平台与众包标注:Arena 运营者可用其减少重复、低信息量的人类投票,把预算集中到前沿候选及易混淆模型之间。
- 教育:教师可针对课程中的数学推理、表达质量、事实性和可读性选择不同模型;学生也能参与小规模领域评测。
- 适老化与无障碍:可将易懂度、可靠性、响应速度等扩展为评价维度,为辅助阅读或语音交互系统选择更合适的模型,但当前方法仍需针对这些维度改造偏好采集机制。
- 传感器与 IoT:论文没有直接的物理环境应用;若用于边缘设备上的多模型选择,其样本高效采样思想具有迁移价值,但尚未在 IoT 场景验证。
4. 在 AI 知识体系中的位置
它属于 LLM 评测、多目标偏好学习与统计自适应实验设计,具体连接 best-arm identification、pure exploration、Pareto set identification 和 Track-and-Stop,而不是新的模型架构、World Model、Embodied AI 或 Physical AI。
《Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference》奠定了双盲成对偏好评测范式;本文进一步解决其中“如何用较少投票识别多维前沿”的问题。相较《EffiEval: Efficient and Generalizable Model Evaluation via Capability Coverage Maximization》的能力覆盖式采样,本文优化的是多目标前沿候选间的比较分配;相较《Heterogeneous Value Alignment Evaluation for Large Language Models》的多维价值评估,本文增加了明确的采样算法和统计最优性保证。《Prune-Then-Plan: Step-Level Calibration for Stable Frontier Exploration in Embodied Question Answering》中的 frontier 是具身问答中的探索边界,与本文的统计帕累托前沿并非同一概念。
5. 推荐指数:★★★★☆(4/5)
- 新颖性 4.0:向量 Borda、多目标 Bradley–Terry 与经验间隙消除的结合较有方法新意。
- 实用性 3.5:对 Arena 运营者和模型选型有价值,但依赖合理定义评价目标、偏好可比性及模型假设。
- 前瞻性 4.0:推动 LLM 评测从标量排行榜转向可解释的多目标能力画像。
- 个人可参与度 3.5:个人可参与偏好标注并使用模型组合建议,但直接部署算法仍需要一定统计与工程能力。
均值:3.75,最终推荐:4/5。 主要限制是实践中可能保留大量统计差异很小但互不支配的模型,且成本、延迟等部署指标若未纳入比较设计,就不能直接体现在前沿结果中。
来源:https://arxiv.org/abs/2610.27447v1
原文来源
- https://arxiv.org/abs/2610.27447v1
来源类型:arXiv 预印本 · 日期:2026-10-20
边界声明 · 这项研究不能证明什么
本文为一手来源的中文编辑导读,结论的适用范围与证据强度以来源原文为准;不构成医疗、投资或其他决策建议。
AIGC 内容说明
本文由 AI 辅助起草,经今山海编辑部人工核对事实、来源与边界后发布。修订与更正将在本页留痕。