机心卷 · 世界补丁日志

Bridging Human and Model Attention: Explainability Analysis of CNN, Mamba, and ViT Architectures with Gaze-Based Validation

2026-10-08 AI 辅助 · 人工审校 编号 cand-f97b3b9cf5eb

论文分析 ### 1. 一句话总结 本文在细粒度分类(CUB)、医学影像(MIMIC-CXR)和情感识别(KDEF)三个领域上,系统量化比较了CNN、ViT与Vision Mam…

论文分析

1. 一句话总结

本文在细粒度分类(CUB)、医学影像(MIMIC-CXR)和情感识别(KDEF)三个领域上,系统量化比较了CNN、ViT与Vision Mamba(ViM)三种主流视觉架构的显著性图与人类眼动注视数据之间的对齐程度,并提出了一套标准化的归一化管道与三类互补相似度度量来揭示不同架构的注意力机制差异。

2. 核心创新点

  • 统一量化框架:将后验归因图与眼动热力图均映射为空间概率分布,采用Jensen-Shannon(支持区域重叠)、Chi-square(质量分布差异)、Pearson(结构协变)三个互补度量,严格刻画其值域、最优边界与不变性,避免了以往XAI评估多依赖定性观察的局限。
  • 跨架构系统性比较:首次在同一实验协议下系统对比CNN(Via GradCAM/ScoreCAM/AblationCAM)、ViT(Via ViTLRP)、ViM(Via MambaLRP),揭示了CNN全局弥散注意力、ViT细粒度patch级注意力、ViM在医学任务上解释性强但在自然图像上出现“高支持重叠+零线性相关”的解离现象。
  • 训练策略影响分析:进一步探讨了骨干冻结与集成策略对模型可解释性与人眼注意力对齐度的影响,为高风险AI场景下的架构选择提供实证依据。

3. 潜在应用场景

  • 医疗AI可解释性工具开发:论文在MIMIC-CXR上的发现可直接服务于放射辅助诊断系统的解释性审计,符合EU AI Act对透明度的合规要求;个人开发者可基于GradCAM/LRP工具链构建面向临床医生的可视化插件。
  • 可解释性评估基准构建:所提出的归一化管道和三类互补指标可被复现为开源评测工具,供研究者自行评估新模型的“类人性”。
  • 情感识别与人机交互:KDEF数据集上的结论有助于设计更符合人类注意力习惯的情感感知UI/UX。
  • 教育与科普:可用于制作“AI看图与人看图差异”的可视化教学素材,降低公众对黑箱模型的疑虑。

4. 在AI知识体系中的位置

本文属于 Explainable AI (XAI)/可解释人工智能 方向,具体落在 视觉模型的注意力对齐评估 子领域。它与以下主流方向紧密相关:

  • Vision Mamba:作为新兴的状态空间模型(SSM)视觉变体,ViM的内部机制理解尚处于早期,本文对其可解释性的批判性分析是对 “Mamba in Vision: A Comprehensive Survey of Techniques and Applications” 所揭示趋势的重要补充。
  • Vision Transformer 可解释性:补充了ViTLRP等归因方法的人类对齐验证,与 “Hands-on Evaluation of Visual Transformers for Object Recognition and Detection” 中ViT vs CNN的对比思路呼应但聚焦于可解释性维度。
  • 人眼注视建模与认知对齐:将认知科学(眼动追踪)引入AI评估,处于AI与认知科学的交叉点。
  • AI治理与合规:直接对接EU AI Act的高风险系统透明度要求。

5. 推荐指数:★★★★ (4/5)

理由:

  • 新颖性(4/5):首次在统一协议下系统量化比较CNN/ViT/ViM三类架构的人眼注意力对齐,并提出互补性度量组合,具有方法论贡献。
  • 实用性(3.5/5):对高风险AI部署(尤其医疗)的架构选择与合规审计有直接参考价值,但实验局限于三个数据集,推广性需进一步验证。
  • 前瞻性(4.5/5):在Vision Mamba刚兴起的阶段揭示其可解释性短板,对其健康发展极具指导意义;对接EU AI Act合规需求,具有政策前瞻性。
  • 个人可参与度(4/5): GitHub开源、基于成熟库(GradCAM、LRP)即可复现,适合研究者与开发者跟进、扩展新架构(如Hybrid Mamba-Transformer)的可解释性评测。
  • 综合均值约4.0,与4星评级自洽。扣分原因:实证深度仍有扩展空间(如更多数据集/任务、用户研究层面的验证)。

来源:https://arxiv.org/abs/2610.12703v1

原文来源

边界声明 · 这项研究不能证明什么

本文为一手来源的中文编辑导读,结论的适用范围与证据强度以来源原文为准;不构成医疗、投资或其他决策建议。

AIGC 内容说明

本文由 AI 辅助起草,经今山海编辑部人工核对事实、来源与边界后发布。修订与更正将在本页留痕。