北京三呆科技有限公司

本申请涉及一种深度神经网络编译方法及相关设备，深度神经网络编译方法包括：创建多个并行子进程，将拦截的各子图分发至各子进程中，由各子进程独立调用后端编译器执行并行编译任务，以生成各子图对应的底层目标代码，并在并行编译任务期间，将执行原生编译流程的主进程置入等待状态；待所有子进程执行的并行编译任务完成后，将各子图对应的底层目标代码存入原生文件缓存中；解除主进程的等待状态，由主进程按照原生编译流程向后端编译器提交编译请求，使原生编译流程从原生文件缓存中获取各子图对应的底层目标代码并进行装载。本申请解决了现有常规技术难以在不重构深度学习框架底层逻辑的前提下，对分散子图实施并行编译任务加速处理的问题。

本申请涉及一种深度神经网络模型算子的执行方法及装置，深度神经网络模型算子的执行方法包括：获取深度神经网络模型的计算图，从计算图中确定待执行的多个算子节点；确定多个算子节点各自在处理器中的计算单元需求量；根据需求量，将处理器的多个计算单元划分为互不重叠的多个计算单元子集，采用并行执行策略将多个算子节点分配至多个计算单元子集执行，并使多个算子节点中具有不同资源瓶颈特征的至少两个算子节点在同一执行阶段，分别在各自对应的所述计算单元子集上同时执行。本申请解决了现有推理框架将异构算子串行执行的方式，导致硬件资源利用率较低的问题。