検索に戻る
案件記録

一种多核NPU芯片的计算资源动态调度方法及系统

発明有効
10請求項 · 4 独立
§ Ⅰ

案件概要

発明者

靳晓缘; 罗广; 童剑峰; 呙涛; 胡艳明

IPC分類

G06F 9/50 (2006.01)

本发明提供了一种多核NPU芯片的计算资源动态调度方法及系统,方法包括:根据每一个网络模型推理任务的算力需求,确定每一个网络模型推理任务最多调用的NPU核的数量,利用离线工具对每一个网络模型推理任务进行离线处理,得到多个离线文件,每一个离线文件对应调用不同数量的NPU核来执行;当接收到待执行网络模型推理任务时,根据当前可用NPU核的数量,获取对应的离线文件,作为待执行离线文件;将当前可用NPU核分配给待执行离线文件来执行离线文件。本发明将网络模型推理任务离线处理为多个版本的离线文件,根据可用NPU核的数量,处理不同版本的离线文件,实现NPU核的动态分配,合理利用NPU计算资源。

外部リソース