机心卷 · 世界补丁日志

多模态AI装进旧手机?一篇300篇论文的综述给出了系统级答案

2026-09-16 AI 辅助 · 人工审校 编号 cand-396b45ba57ad

你有没有想过这样一个画面:家里的旧手机、智能门铃、车载中控屏,都能在本地流畅运行一个“看得懂图、听得懂话、读得懂文字”的AI助手?你不用把孩子的照片传到云端再等三秒才能识别猫狗,也

你有没有想过这样一个画面:家里的旧手机、智能门铃、车载中控屏,都能在本地流畅运行一个“看得懂图、听得懂话、读得懂文字”的AI助手?你不用把孩子的照片传到云端再等三秒才能识别猫狗,也不用担心对话内容被服务器记录——因为推理就发生在设备里。

听起来像科幻,但最近arXiv上一篇综述告诉我:这件事正在从想象变成工程问题。这篇题为《From Models to Systems: A Comprehensive Survey of Efficient Multimodal Learning》的论文,把过去几年关于“高效多模态学习”的300多篇研究系统梳理了一遍。它得出的信号很明确:多模态AI的“瘦身”,已经从单点模型压缩,升级为系统级工程。

论文核心观点:我们需要从“Models到Systems”的视角转变,光压缩模型不够,还得重塑整个推理管线。


一、先说清楚:为什么现在的AI都这么“胖”?

过去两年,多模态大模型(MLLM)的能力暴涨。从GPT-4V到Claude 3,从Qwen-VL到InternVL,模型参数从几十亿一路冲到上千亿,视觉编码器、投影层、语言模型三件套叠加,单个模型动辄几十GB显存起步。

代价是部署成本爆炸。一个能看图的AI助理,如果你想本地跑,需要:

  • 显存:通常16GB起步,旗舰模型需要80GB以上
  • 算力:消费级显卡勉强能跑,CPU基本无望
  • 能耗:手机续航按分钟计

结果就是:能力越强的AI,离普通用户越远。厂商只能塞进云端按token收费,用户得忍受网络延迟和隐私焦虑。这是个结构性问题,不是某个模型的bug。

这篇综述的判断是:问题的根源在于大家只盯着“模型本身”做文章,却忽视了模型之外的整个系统。


二、这篇综述到底说了什么?

研究者把300多篇论文按“优化对象”重新分类,发现一个有意思的结构:

1. 模型层优化(最热闹,但已遇瓶颈)

包括剪枝、量化、知识蒸馏、低秩分解这些经典操作。剪枝就像给大树修枝,把不重要的连接砍掉;量化是把32位浮点数压成8位甚至4位整数,好比用256色代替1670万色,细节会损失但体积大幅缩小;蒸馏则让小模型模仿大模型的输出,像徒弟学师傅。

过去几年这些技术已经很成熟,但单纯靠模型压缩的边际收益在递减——你把一个70B的模型压到7B,仍然跑不动手机。

2. 系统层优化(这是综述的重点)

这才是“From Models to Systems”的真正含义。作者把目光投向了推理管线本身,包括:

  • 视觉token压缩:多模态模型把图像切成一个个小patch(视觉token),一张图可能产生上千个token。冗余巨大,研究者通过聚类、冗余去除、动态裁剪等手段,能把视觉token数量砍掉**60%-90%**而几乎不掉点。
  • 跨模态早期融合策略:过去多模态融合发生在语言模型层,现在有人在视觉编码器里就把语言信号注进去,省掉大量后期计算。
  • 异构计算调度:CPU、GPU、NPU各管一摊,根据任务动态分配。手机芯片的AI加速单元终于有用武之地。
  • 缓存与记忆机制:多轮对话中,上下文不用每次重算,复用KV缓存能省掉40%以上的推理开销。

3. 数据层优化(常被忽视)

包括训练数据筛选、合成数据生成、课程学习等。“用更少的数据训出更好的模型”这条路,在多模态场景下被严重低估。


三、用大白话翻译三个关键技术

剪枝:给AI“减负”

一棵大树长得茂盛,但并不是每根枝桠都承重。剪枝就是找到那些“贡献小、耗能大”的连接,直接剪掉。在AI里,一个70亿参数的模型可能30%的参数对最终输出影响不到1%——剪掉它们,模型变小,速度变快,精度损失却很小。

但剪枝不是乱剪,需要精细的“重要性评估”,相当于医生术前先看CT。

量化:把“高精度测量”换成“粗略估计”

默认情况下,AI的权重用32位浮点数存储,相当于用游标卡尺测量长度。量化把它降到8位甚至4位整数,相当于用卷尺甚至直尺。测量变粗了,但对结果的判断可能没差。

量化是目前部署侧最成熟的技术,手机端推理框架(如TensorFlow Lite、Core ML、llama.cpp)基本都支持4-bit量化。一个7B模型量化后能压到4GB以内,普通手机勉强可以跑起来。

视觉token压缩:让AI“看得更聪明”

这是多模态特有的优化点。一张1024×1024的图像,ViT(视觉Transformer)会切成256个甚至1024个小patch,每个patch都变成一个token扔给语言模型。但实际上,一张图里的“信息”远没有那么分散——可能一半patch是天空、墙壁这种重复区域。

研究者用聚类算法把相似patch合并,或者用显著性检测只保留关键区域,可以把视觉token数量压到原来的10%-20%。

一句话总结:不是让AI看得更少,而是让它看得更聪明。


四、这对普通用户意味着什么?

别急着兴奋,落地还有几个门槛。

好消息:技术路径已经打通。Llama 3.2的1B/3B版本、Phi-3-mini、Gemma 2B这些小模型,配合量化、视觉token压缩,已经能在中端手机上跑出每秒10 token以上的速度。虽不能和云端GPT-4o比,但用于本地图像描述、文档问答、简单视觉推理,已经够用。

坏消息:距离“丝滑体验”还有距离。视觉任务对算力要求远高于纯文本,本地多模态目前还停留在“能用但别期待太高”的阶段。

行业影响:

  • 隐私敏感场景(医疗、金融、儿童设备)会率先落地,因为云端方案的合规成本太高
  • 端云协同架构会成为主流,重活在云端、轻活在本地
  • 芯片厂商会卷出新一轮NPU军备竞赛——高通、联发科、苹果都在押注端侧AI

对开发者:综述里反复强调的一个观点是——不要只盯着模型选型,系统设计才是决胜关键。同样的7B模型,配合合理的视觉token压缩和KV缓存策略,吞吐量能差3-5倍。


五、未来12-18个月会发生什么?

我的判断:

  1. 端侧多模态会成为手机厂商的标配卖点。2025年下半年开始,“AI手机”已经卷了一年,但大多是把云端能力换个壳。真正的端侧多模态(看图、识物、本地问答)会在2026-2027年成为旗舰机的差异化战场。

  2. 会出现专门的“端侧多模态模型”分支,而不是简单地把大模型压缩。现在已经有团队在做1B-3B级别的原生多模态架构,目标不是“小号的GPT-4V”,而是“为手机重新设计的AI”。

  3. 系统级框架会替代单一压缩工具。类似vLLM、TensorRT-LLM这种推理框架,会把视觉token压缩、动态量化、异构调度这些能力内置,开发者不再需要自己拼凑。

  4. 隐私和能耗成为新卖点。当本地推理可行,“你的数据从未离开设备”会从营销话术变成技术事实。


写在最后

这篇综述最有价值的洞察,不是某个具体的压缩技巧,而是它提出的视角转变:当我们谈论“让AI变小”时,我们其实在谈一整个系统的重构。

模型只是冰山一角,水面下的数据工程、硬件调度、推理管线、缓存策略,共同决定了AI能不能真正走进每一台设备。

对于普通用户,未来12个月值得关注的不是某个新模型发布,而是你的下一台设备能不能离线跑一个能看图的AI。这一天,可能比你想象的更近。


如果这篇文章让你对端侧多模态有了新的理解,欢迎点个在看,让更多技术圈的朋友看到。下期我会拆解具体的视觉token压缩算法,看看工程师到底是怎么让AI“看得更聪明”的。

原文来源

边界声明 · 这项研究不能证明什么

本文为一手来源的中文编辑导读,结论的适用范围与证据强度以来源原文为准;不构成医疗、投资或其他决策建议。

AIGC 内容说明

本文由 AI 辅助起草,经今山海编辑部人工核对事实、来源与边界后发布。修订与更正将在本页留痕。