机心卷 · 世界补丁日志

TreeWY:混合架构大模型的推理加速,终于有了专用解法

2026-08-21 AI 辅助 · 人工审校 编号 cand-b0ce5cb5a675

你有没有这样的体验——好不容易在消费级显卡上跑起 Qwen3-Next,却发现套上 Medusa 或 EAGLE 这些推测解码工具后,速度提升远没有在 Llama 上那么明显?

你有没有这样的体验——好不容易在消费级显卡上跑起 Qwen3-Next,却发现套上 Medusa 或 EAGLE 这些推测解码工具后,速度提升远没有在 Llama 上那么明显?

问题不是你的显卡不行,而是 这些推测解码工具压根没考虑过线性注意力层的存在。

今天要聊的这篇论文 TreeWY,正好瞄准了这个被中文社区忽视的工程痛点。在主流媒体还在讨论“Qwen3-Next 跑分多少”的时候,系统方向的研究者已经在思考 “如何让混合架构模型的推理引擎真正配得上它的架构创新”。


背景:混合架构为什么成了 2025 年的“政治正确”

先抛一个不太被普通用户注意到的趋势:从 2024 年底开始,主流开源大模型几乎全面转向 混合架构。

Qwen3-Next 用 Gated DeltaNet + Softmax Attention 的混合;Kimi Linear 用类似方案;RWKV、Zamba、Mamba2 也都在朝这个方向收敛。

为什么?因为 线性注意力(Linear Attention / SSM) 有三个 Transformer 永远学不会的优点:

  • 显存占用恒定——不管序列多长,循环状态大小固定,KV 缓存彻底消失
  • 推理复杂度 O(n)——摆脱 O(n²) 的算力诅咒
  • 天然适合长上下文——理论上的“无限上下文”潜力

但它也有致命短板:对历史信息的压缩过于激进,复杂逻辑推理能力不如标准注意力。

于是聪明的折中方案出现了:大部分层用线性注意力省钱,少部分关键层用 Softmax Attention 保质量。这就是 Qwen3-Next、Kimi Linear 这类模型的设计哲学。


痛点:推测解码为什么在混合架构上“水土不服”

再聊 推测解码(Speculative Decoding)——这是目前 LLM 推理加速的王牌方案。

原理不复杂:让一个小的“草稿模型”先猜几个 token,然后大模型一次性验证。猜得准,就一次吐出多个 token;猜不准,就当正常解码继续走。

Medusa、EAGLE、Lookahead Decoding 这些工具在 Llama 上能把吞吐量提升 2-4 倍,效果立竿见影。

但在混合架构上,这套玩法直接卡住了。

问题出在 循环状态(recurrent state) 上。

传统 Transformer 的推测

原文来源

边界声明 · 这项研究不能证明什么

本文为一手来源的中文编辑导读,结论的适用范围与证据强度以来源原文为准;不构成医疗、投资或其他决策建议。

AIGC 内容说明

本文由 AI 辅助起草,经今山海编辑部人工核对事实、来源与边界后发布。修订与更正将在本页留痕。