검색으로 돌아가기
기록
一种多核NPU芯片的计算资源动态调度方法及系统
발명유효
2조회수
10청구항 · 4 독립항
§ Ⅰ
개요
발명자
靳晓缘; 罗广; 童剑峰; 呙涛; 胡艳明
IPC 분류
G06F 9/50 (2006.01)
本发明提供了一种多核NPU芯片的计算资源动态调度方法及系统,方法包括:根据每一个网络模型推理任务的算力需求,确定每一个网络模型推理任务最多调用的NPU核的数量,利用离线工具对每一个网络模型推理任务进行离线处理,得到多个离线文件,每一个离线文件对应调用不同数量的NPU核来执行;当接收到待执行网络模型推理任务时,根据当前可用NPU核的数量,获取对应的离线文件,作为待执行离线文件;将当前可用NPU核分配给待执行离线文件来执行离线文件。本发明将网络模型推理任务离线处理为多个版本的离线文件,根据可用NPU核的数量,处理不同版本的离线文件,实现NPU核的动态分配,合理利用NPU计算资源。