一种NUMA感知的DNN编译系统优化方法及系统

本发明公开了一种NUMA感知的DNN编译系统优化方法及系统，本发明方法包括初始化线程‑节点映射；初始化可用内存；获取DNN的计算图中的计算节点，为每个计算节点构造参数节点并预分配模型参数内存，并更新可用内存；将各个计算节点分配优先级排序；按照分配优先级为计算节点构造副本参数节点并更新可用内存直至可用内存耗尽；遍历计算节点以将副本参数节点的内存分配NUMA节点使所有线程当中与数据距离最大值最小化；针对各个计算节点对应的算子执行算子优化直至优化目标完成。本发明旨在基于神经网络涉及数据的特性、适应NUMA架构服务器的访存特性来实现将神经网络推理作业均匀地分配内存，提高本地访存比率。