一种模型推理方法及系统

公开了一种模型推理方法及系统，涉及AI技术领域。模型推理系统获取第一推理请求。第一加速器根据第一热权重，对第一推理请求进行处理，得到第一推理结果，且第二加速器根据第二热权重，对第一推理请求进行处理，得到第二推理结果，进而第一加速器根据第一推理结果和第二推理结果，得到输出结果。其中，第一热权重的激活频率大于模型中冷权重的激活频率，且第一热权重与第二热权重相同。第一加速器和第二加速器中都部署有相同的热权重，进而，第一加速器与第二加速器在执行模型推理时，可从其本地获取热权重以进行模型推理，由于加速器从其本地获取热权重的速度大于加速器从其他位置（如处理器）获取权重的速度，因此，可提高模型推理的效率。