一种基于混合专家模型的动态调度推理方法及相关设备

本申请公开了一种基于混合专家模型的动态调度推理方法及相关设备，方法包括：确定待推理的混合专家模型，所述混合专家模型包括多个专家子模型；对所述多个专家子模型进行嵌套权重量化处理，得到量化子模型集合；响应于推理任务，对所述量化子模型集合进行路由激活处理，得到激活子模型集合；根据所述推理任务对所述激活子模型集合进行动态位宽选择处理，得到初始子模型集合；对所述初始子模型集合进行位宽感知重排序处理，得到目标子模型队列；根据所述目标子模型队列对所述推理任务进行执行处理，得到推理结果。本申请实施例能够提高模型推理的效率，可以广泛应用于人工智能技术领域。