EngineAgent: Agentizing On-Device LLM Inference Engines with Inference Stack Hierarchy Awareness and Hardware Abilities
1. 一句话总结 EngineAgent通过“推理引擎层级索引+预验证的软硬件调试技能+构建/审计双智能体”,自动完成新模型的端侧适配,在12个任务上取得75%的严格端到端成功率…
1. 一句话总结
EngineAgent通过“推理引擎层级索引+预验证的软硬件调试技能+构建/审计双智能体”,自动完成新模型的端侧适配,在12个任务上取得75%的严格端到端成功率,高于最强代码智能体基线的33.3%。
2. 核心创新点
- 将可复用的引擎知识与具体模型适配分离:层级索引描述模型转换、图构建、算子、硬件后端之间的依赖,并能在引擎修改后持续更新。
- 针对CPU、GPU、NPU后端预构建构建、执行和Host–Device调试技能;模型智能体负责跨层修改,审计智能体则检查实现完整性,并依据真机日志和输出结果迭代纠错。
- 与只依赖代码生成或通用检索的智能体不同,EngineAgent把推理栈结构、硬件能力和真实设备验证纳入智能体工作流,减少“代码能编译但设备上不能正确运行”的问题。
3. 潜在应用场景
- 个人开发工具:适合独立开发者将新发布的小型LLM或多模态模型快速接入MNN、llama.cpp/Vulkan、ExecuTorch/QNN等端侧引擎,减少人工排查算子、图结构和后端兼容问题的工作量。
- 边缘AI与IoT:可帮助智能家居、机器人、摄像头和可穿戴设备开发者适配NPU/GPU推理后端,尤其适合算力与内存受限的设备。
- 教育与研究:层级索引和调试技能可作为学习材料,帮助学生理解“模型结构—编译器/运行时—硬件后端”之间的跨层关系,并复现模型移植流程。
- 适老化与隐私应用:论文本身不面向适老化交互,但可靠的本地模型适配有利于在手机等设备上部署语音助手、视觉辅助等应用,减少对云端服务的依赖;目前仍需要一定端侧开发能力,尚非开箱即用的适老产品。
4. 在AI知识体系中的位置
该工作属于面向机器学习系统的LLM智能体(LLM Agent for ML Systems),更具体地说是系统级代码生成、调试与模型部署智能体,交叉涉及端侧推理、异构硬件、编译/运行时和移动系统;它不是Physical AI、World Model、CV算法或Embodied AI。
它与通用端到端代码智能体的主要区别是显式建模推理栈层级并执行真机验证。与RefAgent: A Multi-agent LLM-based Framework for Automatic Software Refactoring同属多智能体软件工程路线,但目标从重构转向模型使能;与TransAgent: Enhancing LLM-Based Code Translation via Fine-Grained Execution Alignment都强调执行反馈,前者依赖更细粒度的设备侧验证;相较于MobileRAG: Enhancing Mobile Agent with Retrieval-Augmented Generation及Enhancing Open-Domain Task-Solving Capability of LLMs via Autonomous Tool Integration from GitHub,EngineAgent使用的是结构化引擎索引和经过验证的调试技能,而不是面向开放域的通用检索或GitHub工具接入。
5. 推荐指数:★★★★☆(4/5)
- 新颖性:4/5——层级感知索引、硬件技能复用及构建—审计分工形成了较完整且有针对性的系统设计。
- 实用性:4/5——成功率提升明显,且以“编译、真机执行、输出logit一致”为严格标准,结果具有实际参考价值。
- 前瞻性:5/5——面向模型快速迭代与CPU/GPU/NPU碎片化这一长期趋势,自动化系统适配具有明显价值。
- 个人可参与度:3/5——个人开发者可直接受益,但复现和有效使用仍依赖推理引擎、编译环境及真实硬件。
平均分:4.0/5,最终推荐:★★★★☆。 主要限制是评测仅覆盖12个任务、3个移动LLM和4组引擎—后端组合,且仍有约四分之一任务未达到严格成功标准;该工作更适合作为端侧AI开发基础设施,而非普通用户直接使用的通用产品。
来源:https://arxiv.org/abs/2611.14356v1
原文来源
- https://arxiv.org/abs/2611.14356v1
来源类型:arXiv 预印本 · 日期:2026-11-10
边界声明 · 这项研究不能证明什么
本文为一手来源的中文编辑导读,结论的适用范围与证据强度以来源原文为准;不构成医疗、投资或其他决策建议。
AIGC 内容说明
本文由 AI 辅助起草,经今山海编辑部人工核对事实、来源与边界后发布。修订与更正将在本页留痕。