Sketching Language Models for Context Attribution
1. 一句话总结 本文利用“后向—前向”随机线性代数草图,在稳定性假设下,以远少于逐词删除的模型调用次数同时估计提示中各 token 的留一法(LOO)贡献,并给出 oracle…
1. 一句话总结
本文利用“后向—前向”随机线性代数草图,在稳定性假设下,以远少于逐词删除的模型调用次数同时估计提示中各 token 的留一法(LOO)贡献,并给出 oracle 模型下匹配的查询复杂度下界。
2. 核心创新点
- 将全部 token 的 LOO 归因转化为可随机草图化的计算问题,并通过把前向微分应用到反向传播计算图,在较小额外开销下降低估计方差。
- 在稳定性条件下,以 (O(\sqrt{\log(1/\varepsilon)}/\varepsilon)) 次模型评估同时逼近所有 LOO 值;oracle 模型下证明 (\Omega(\sqrt{\log(1/\varepsilon)}/\varepsilon)) 的匹配下界,而直接采用前向草图需要 (\widetilde O(\log n/\varepsilon^2)) 次调用。
- 实验验证了与稳定性假设一致的系数衰减,并在小规模语言模型检索任务中测试了估计效果;但目前仍是小任务验证,且要求固定、可重复的标量测量函数。
3. 潜在应用场景
- 开发者工具:集成到 IDE 插件、提示词分析器或模型 API 包装器中,对 token 或上下文块进行重要性排序,辅助提示压缩、冗余检索结果裁剪和调试。
- RAG 与知识库系统:估计某段文档对答案的边际贡献,辅助去除重复、低相关上下文,并定位可能影响回答的可疑来源。
- 安全与审计:作为提示投毒、异常上下文注入的辅助筛查工具,也可用于记录模型回答受哪些外部资料影响。
- 教育与个人实践:个人开发者可用黑盒 API、小型开源模型和有限调用预算搭建轻量归因插件;相较逐 token 删除,理论上更适合长提示分析。与传感器、IoT 和适老化系统没有直接联系,主要价值在软件工具层。
4. 在 AI 知识体系中的位置
该工作属于 LLM 可解释性中的上下文归因/反事实解释,同时结合了数据归因、特征归因、随机数值线性代数、算术电路微分与查询复杂度理论。它不是新的语言模型架构,也不属于 World Model、Physical AI 或 Embodied AI。
它与 ProCut: LLM Prompt Compression via Attribution Estimation 的提示压缩应用直接衔接;与 Fast Training Dataset Attribution via In-Context Learning 相比,本文关注的是当前提示内部 token 的贡献,而非训练样本的贡献。由于 Double Trouble: How to not explain a text classifier's decisions using counterfactuals synthesized by masked language models? 和 Likelihood Is Not Authorship: Can We Reliably Measure Human Contribution in AI-Assisted Writing? 提醒反事实与概率归因存在解释边界,本文分数应理解为“固定测量函数下的删除效应”,不能直接视为事实正确性、因果贡献或作者身份。
5. 推荐指数
- 新颖性:4.0/5——后向—前向草图及匹配上下界具有较强方法贡献。
- 实用性:3.5/5——可显著减少长提示的归因调用,但依赖稳定性假设和固定标量指标,实验规模也较小。
- 前瞻性:4.0/5——适合支撑可扩展的 RAG 分析、提示压缩和模型审计。
- 个人可参与度:3.5/5——可用模型 API 或小型本地模型实现原型,无需专用硬件。
均分为 3.75/5,最终推荐:★★★★。
来源:https://arxiv.org/abs/2611.17313v1
原文来源
- https://arxiv.org/abs/2611.17313v1
来源类型:arXiv 预印本 · 日期:2026-11-12
边界声明 · 这项研究不能证明什么
本文为一手来源的中文编辑导读,结论的适用范围与证据强度以来源原文为准;不构成医疗、投资或其他决策建议。
AIGC 内容说明
本文由 AI 辅助起草,经今山海编辑部人工核对事实、来源与边界后发布。修订与更正将在本页留痕。