支持大模型推理的计算图优化方法、系统及装置

本申请涉及计算图优化技术领域，具体涉及支持大模型推理的计算图优化方法、系统及装置，该方法包括：在各执行周期下，监控计算图中任意两个节点在所有次模型推理的通信频率、数据传输量，以及两个节点的瓶颈带宽和往返延迟，确定所述任意两个节点的亲和度；生成多个初始的分配方案，确定分配方案的最大执行时间；确定分配方案的跨设备通信时间，结合最大执行时间构建目标函数，获取最优分配方案；确定各执行周期的累积节省延迟、迁移成本开销，对比其与累积节省延迟的大小，对计算图中节点的迁移进行评估以优化计算图。本申请能够降低推理延迟且避免盲目迁移导致的资源浪费和性能下降，能够全面、动态地优化计算图的分配。