数据传输方法、装置、计算机设备、存储介质和程序产品

本申请涉及一种数据传输方法、装置、计算机设备、存储介质和程序产品。所述方法包括：针对混合专家MoE模型中的每一个专家网络，将运行专家网络的计算内核对应的执行块划分为至少一个执行块组；各执行块组中包括至少两个执行块；在运行专家网络的过程中控制目标执行块组中的各执行块异步传输专家网络对应的待传输数据；目标执行块组为专家网络对应的至少一个执行块组中的空闲的执行块组，从而将传统方案中耦合性强且同步开销大的执行流程解耦为多个可独立异步执行的流水线步骤，从而在MoE模型因动态路由导致负载不均时，避免大量执行块处于空闲等待状态，显著提升异构加速器的计算资源利用率，并降低模块间的同步耗时。