一种多GPU并行加速扩散模型推理方法和系统

本发明公开了一种多GPU并行加速扩散模型推理方法和系统，属于模型运行技术领域，包括：将扩散模型的每个时间步输入噪声的全局激活特征划分多个子段并分布到并行计算的多个GPU并负责其中一个子段；每个GPU完成单时间步去噪计算后，将每个子段对应的激活特征图被分解为多个大小相同的正方形子块，基于噪声的激活特征偏差和动态轮询机制选择最具信息量的正方形子块传输至所有其他GPU；每个GPU将正方形子块与各自子段对应的激活特征整合得到当前时间步的全局激活特征图，基于全局激活特征图进行下一时间步的去噪推理计算，这样能解决多GPU并行加速扩散模型推理过程中的通信耗时过大的问题，且能够保证兼容少步数采样器等算法。