清华大学天津电子信息研究院

本申请公开了一种面向神经网络模型的分布式推理部署方法，涉及人工智能技术领域。该方法包括：对原始神经网络模型的计算图进行路径分解，输出多个单入单出的有向无环图子块；基于异构边缘设备的算力量化结果，计算分区尺寸上下限并通过自适应阈值剪枝生成候选分区配置；构建包含计算负载、数据传输和重叠计算时延的性能评估模型对候选配置进行量化评估；采用融合α‑β剪枝与动态规划的树型混合优化搜索算法，跨越多层搜索全局最优划分方案，并执行差异化重叠控制与跨层融合优化等。本申请可以有效解决现有技术在复杂网络结构下搜索空间受限、异构设备负载失衡及搜索效率低的问题，实现低延迟、高吞吐的推理部署。