一种混合专家大模型的裁剪方法、装置及设备

本申请提供一种混合专家大模型的裁剪方法、装置及设备，该方法包括：获取初始混合专家大模型的每个专家模型的重要性分数；其中，所述重要性分数包括token重要性分数和/或专家重要性分数；样本问题文本对应的多个token被路由到多个专家模型，针对每个专家模型，该专家模型的token重要性分数是基于路由到该专家模型的token的预设重要性指标确定，该专家模型的专家重要性分数是基于该专家模型在所有专家模型中的重要程度确定；基于每个专家模型的重要性分数，从多个专家模型中确定待裁剪专家模型；对所述初始混合专家大模型的待裁剪专家模型进行裁剪得到目标混合专家大模。通过本申请的技术方案，能够减少目标混合专家大模型消耗的计算资源。