混合专家模型的载入方法与电子装置

本揭示提出一种混合专家模型的载入方法与电子装置。载入方法由电子装置执行，电子装置用以运行包含多个层的神经网络。载入方法包含：接收包含多个词元的请求；在预填充阶段中，对于每个词元，在每一层中选择多个专家的其中之一，并将所选择的专家载入至存储器；以及在执行解码阶段之前，选择这些专家中的初始化专家，并将初始化专家载入至存储器。