一种大模型异构推理方法和系统

本发明公开了一种大模型异构推理方法和系统。该方法包括：针对大模型，根据计算与存储特性确定待卸载的目标组件和保留组件，所述目标组件是存储密集且计算强度低于设定标准的组件，所述保留组件是计算密集型组件；将所述目标组件卸载至不同于GPU的异构处理单元执行相关任务，将所述保留组件的相关任务分配给GPU执行，并协同并行调度策略和量化存储策略对所述异构处理单元执行的任务进行加速处理，进而获得推理结果。本发明降低了对GPU显存的依赖和推理成本，并提升了吞吐量。