混合专家模型的优化方法、装置、计算机设备、可读存储介质和程序产品

本申请涉及一种混合专家模型的优化方法、装置、计算机设备、可读存储介质和程序产品。方法包括：注意力模块中采用预置张量并行策略在多张人工智能芯片上对当前输入张量进行计算；全归约算子采用预置序列并行策略，在多张人工智能芯片上执行全归约通信，通信过程中基于输入标记维度对注意力局部计算结果切分，由各人工智能芯片并行执行归约计算；残差连接归一化模块在各人工智能芯片上，分别对各人工智能芯片输出的全归约局部计算结果进行残差连接以及归一化处理；混合专家模块对各人工智能芯片输出的归一化局部结果进行混合专家推理计算，得到最终的混合专家推理结果。采用本方法能够提高模型推理效率。