基于多核加速卡的AI加速系统

本申请公开基于多核加速卡的AI加速系统，涉及模型加速领域。包括挂载在NOC上的标量计算核、N个矩阵计算核、计算管理核、HBM，以及Host CPU；标量计算核通过NOC分别与N个矩阵计算核路由连接；N个矩阵计算核通过NOC首尾连接；计算管理核接收Host CPU的任务，将指令与数据发送到NOC上，通过路由链路送入目标计算核；矩阵计算核基于接收到的指令数据进行矩阵运算，以及向标量计算核输出中间数据；标量计算核基于接收的指令和中间数据进行标量计算和数据汇聚，返回加速结果。本方案通过NOC路由链路和流水级联通信机制，可提升计算资源利用率、优化核间通信效率、增强超长文本序列支持能力。