SocialArena: Evaluating Social Intelligence in Large Language Models
1. 一句话总结 SocialArena 将大模型的社会智能拆分为角色扮演、心理状态推理和行为推理三个维度,通过多样化社会情境、显式角色思考以及人工标注的竞技场式比较,建立更系统…
1. 一句话总结
SocialArena 将大模型的社会智能拆分为角色扮演、心理状态推理和行为推理三个维度,通过多样化社会情境、显式角色思考以及人工标注的竞技场式比较,建立更系统且可诊断的评测框架。
2. 核心创新点
论文提出统一的三层社会智能定义,并设计带“角色思考”的多轮角色扮演任务,使模型能够同时接受角色一致性、心理状态与行为后果的综合检验。其 U-TRIMF 框架从用户、角色、关系、事件等要素组合社会场景,降低单一情境带来的结论偏差。评测采用人工两两偏好、自然语言批评和维度级标注,并以较高成本进行标注员培训与质量控制;相比仅给出准确率或胜负的基准,更便于定位模型的具体失败模式。
3. 潜在应用场景
- 开发工具:模型厂商可利用该基准进行发布前评测、版本回归测试和模型选型,尤其适合陪伴聊天、教育辅导、客服及游戏 NPC 等社会交互产品。
- 教育:教师或学生可使用其中的角色冲突和心理推理案例,训练共情、冲突处理及人际决策能力;还可用于比较不同 LLM 作为辅导助手时的差异。
- 个人参与:个人开发者可基于公开提示词和场景模板构建角色扮演应用、提示词测试工具或社会推理训练集;具备社会心理学背景者也可持续参与场景设计和评价标注。
- 适老化与 IoT:可间接支持面向老年人的陪伴助手、家庭服务机器人和语音交互系统,但论文不涉及实体感知或行动控制,不能直接视为 Physical AI 方案。
- 心理咨询等高风险场景:该基准可作为初步筛查工具,但社会智能得分不能替代临床有效性、伦理规范和真实用户安全测试。
4. 在AI知识体系中的位置
SocialArena 属于 LLM 能力评测与社会智能研究,更具体地涵盖理论心智模型(ToM)、情绪与行为推理、多轮角色扮演、竞技场式人类偏好评价以及 LLM-as-a-Judge。它不是新的模型架构,而是面向 LLM 可靠性和可解释性的基础基准。
与相关方向相比,EgoSocialArena: Benchmarking the Social Intelligence of Large Language Models from a First-person Perspective 强调第一人称社会情境,而 SocialArena 更突出多角色互动及角色思考;Inclusion Arena: An Open Platform for Evaluating Large Foundation Models with Real-World Apps 偏重真实应用与开放平台生态;LongReasonArena: A Long Reasoning Benchmark for Large Language Models 则关注长链推理,SocialArena 补充了社会情境中长程角色一致性和人际推理的评测。
5. 推荐指数
★★★★☆(4/5)
- 新颖性:4/5——三维社会智能定义、U-TRIMF 场景构造和结构化角色思考形成了较完整的方法组合。
- 实用性:4/5——能够支持模型比较、细粒度错误诊断和实际应用选型,但高额人工标注成本会影响持续更新。
- 前瞻性:4/5——针对陪伴、教育和咨询等重要交互场景,契合可靠评测与模型行为分析的发展方向。
- 个人可参与度:4/5——场景设计、提示词实验、评价标注和轻量角色扮演应用均适合个人参与,但完整复现实验门槛仍较高。
综合均值为 4.0。主要限制是合成场景及文化偏差可能影响外部效度,显式“角色思考”也可能把真实互动简化成固定推理模板;同时,LLM 裁判部分仍需持续验证与人工评价的一致性。
来源:https://arxiv.org/abs/2610.39247v1
原文来源
- https://arxiv.org/abs/2610.39247v1
来源类型:arXiv 预印本 · 日期:2026-10-29
边界声明 · 这项研究不能证明什么
本文为一手来源的中文编辑导读,结论的适用范围与证据强度以来源原文为准;不构成医疗、投资或其他决策建议。
AIGC 内容说明
本文由 AI 辅助起草,经今山海编辑部人工核对事实、来源与边界后发布。修订与更正将在本页留痕。