神经网络模型的计算方法、计算机系统和介质

本公开提供一种神经网络模型的计算方法、计算机系统和介质。计算方法包括：利用神经网络模型的当前层的注意力模块的输出隐藏状态，获得下一层的混合专家子层的各个专家模型被选择的预测概率并且根据预测概率确定候选专家模型；在当前层的混合专家子层以及下一层的注意力模块的计算过程中，将候选专家模型中的至少一个候选专家模型的专家模型参数从CPU设备的扩展内存预取至GPU设备的内存和/或CPU设备的本地内存；利用神经网络模型的下一层的注意力模块的输出隐藏状态，确定下一层的混合专家子层的参与计算的专家模型；在预取的候选专家模型的专家模型参数中选择相应的专家模型的专家模型参数，进行下一层的专家模型的计算。