选择混合专家模型中专家模块的方法、装置、设备及产品

本申请适用于大语言模型技术领域，提供了选择混合专家模型中专家模块的方法、装置、设备及产品。本申请实施例提供了一种选择混合专家模型中专家模块的方法，将词元对应的第1个槽位的专家模块予以保留；确定后续一个或多个槽位对应的专家模块的第一参数与分数阈值的大小关系，如果第j个槽位对应的专家模块的第一参大于分数阈值，则保留第j个槽位对应的专家模块，否则，舍弃第j个槽位对应的专家模块，其中j≥2。本申请实施例可以节省专家调用资源。并且，本申请实施例无需训练，可以实现即插即用的效果，其仅改变推理时对路由器输出top‑k列表的执行方式，因此适用于任何已发布的MoE检查点，无需重新训练或微调。