TreeWY:混合架构大模型的推理加速,终于有了专用解法
你有没有这样的体验——好不容易在消费级显卡上跑起 Qwen3-Next,却发现套上 Medusa 或 EAGLE 这些推测解码工具后,速度提升远没有在 Llama 上那么明显?
你有没有这样的体验——好不容易在消费级显卡上跑起 Qwen3-Next,却发现套上 Medusa 或 EAGLE 这些推测解码工具后,速度提升远没有在 Llama 上那么明显?
问题不是你的显卡不行,而是 这些推测解码工具压根没考虑过线性注意力层的存在。
今天要聊的这篇论文 TreeWY,正好瞄准了这个被中文社区忽视的工程痛点。在主流媒体还在讨论“Qwen3-Next 跑分多少”的时候,系统方向的研究者已经在思考 “如何让混合架构模型的推理引擎真正配得上它的架构创新”。
背景:混合架构为什么成了 2025 年的“政治正确”
先抛一个不太被普通用户注意到的趋势:从 2024 年底开始,主流开源大模型几乎全面转向 混合架构。
Qwen3-Next 用 Gated DeltaNet + Softmax Attention 的混合;Kimi Linear 用类似方案;RWKV、Zamba、Mamba2 也都在朝这个方向收敛。
为什么?因为 线性注意力(Linear Attention / SSM) 有三个 Transformer 永远学不会的优点:
- 显存占用恒定——不管序列多长,循环状态大小固定,KV 缓存彻底消失
- 推理复杂度 O(n)——摆脱 O(n²) 的算力诅咒
- 天然适合长上下文——理论上的“无限上下文”潜力
但它也有致命短板:对历史信息的压缩过于激进,复杂逻辑推理能力不如标准注意力。
于是聪明的折中方案出现了:大部分层用线性注意力省钱,少部分关键层用 Softmax Attention 保质量。这就是 Qwen3-Next、Kimi Linear 这类模型的设计哲学。
痛点:推测解码为什么在混合架构上“水土不服”
再聊 推测解码(Speculative Decoding)——这是目前 LLM 推理加速的王牌方案。
原理不复杂:让一个小的“草稿模型”先猜几个 token,然后大模型一次性验证。猜得准,就一次吐出多个 token;猜不准,就当正常解码继续走。
Medusa、EAGLE、Lookahead Decoding 这些工具在 Llama 上能把吞吐量提升 2-4 倍,效果立竿见影。
但在混合架构上,这套玩法直接卡住了。
问题出在 循环状态(recurrent state) 上。
传统 Transformer 的推测
原文来源
- https://arxiv.org/abs/2608.20961v1
来源类型:arXiv 预印本 · 日期:2026-08-21
边界声明 · 这项研究不能证明什么
本文为一手来源的中文编辑导读,结论的适用范围与证据强度以来源原文为准;不构成医疗、投资或其他决策建议。
AIGC 内容说明
本文由 AI 辅助起草,经今山海编辑部人工核对事实、来源与边界后发布。修订与更正将在本页留痕。