Denial of Deadline: Network-Driven Accuracy Collapse in Distributed Inference Pipelines

1. 一句话总结 该论文揭示了分布式AI推理中“快速路径+慢速路径”架构在网络延迟与严格截止时间（Deadline）冲突下，会引发准确率骤降的系统性现象，并提出协调层的优化缓解机制。

2. 核心创新点 首次将“网络驱动的准确率崩溃”抽象为可量化、可复现的工程问题，系统剖析了路由调度与结果融合机制在Deadline压力下的失效机理。针对该瓶颈，提出动态协调策略（如自适应路由阈值、异步结果融合或智能降级），在保障实时性的前提下显著抑制精度损失。

3. 潜在应用场景

• 开发工具/IoT/传感器：个人开发者可将其路由-融合逻辑封装为轻量级SDK，用于边缘设备（如树莓派、手机传感器）与云端大模型的协同推理，实现低延迟与高精度的动态平衡。
• 适老化：应用于智能陪护/健康监测设备，当网络波动时自动降级为本地快速模型，确保跌倒检测、语音交互等关键功能不中断。
• 教育：可作为AI系统部署、分布式推理优化的经典教学案例，帮助学生理解“延迟-精度-网络”三者间的工程权衡。

4. 在AI知识体系中的位置 属于**AI系统与分布式推理优化（AI Systems & Inference Serving）**方向，与LLM推理加速、云边端协同架构、MaaS服务调度密切相关。不直接属于CV/World Model/Embodied AI，但为这些方向提供底层推理基础设施支撑。与知识库中《SoftNeuro: Fast Deep Inference using Multi-platform Optimization》[4] 同属高效推理与多平台优化赛道。

5. 推荐指数 ★★★★☆（4/5）

• 新颖性：首次聚焦“Deadline压力下的网络型精度崩溃”，填补了分布式推理架构中延迟-精度耦合失效的研究空白。
• 实用性：直击当前云边协同AI部署的工程痛点，提出的协调层策略可直接落地于现有推理服务框架。
• 前瞻性：为未来大规模分布式AI服务、端侧Agent实时决策提供了架构级参考。
• 个人可参与度：中高。具备基础网络编程与模型部署能力的个人开发者，可快速复现路由/融合模块，优化个人AI应用或开源推理网关；但需一定分布式系统与性能调优经验。

来源：https://arxiv.org/abs/2607.24692v1