模型推理加速方法、装置、电子设备及非易失性存储介质

本申请公开了一种模型推理加速方法、装置、电子设备及非易失性存储介质。其中，该方法包括：在自然语言处理模型进行通用矩阵计算的过程中，将第一矩阵和第二矩阵分别划分为多个分块，其中，通用矩阵计算通过图像处理单元执行，第一矩阵和第二矩阵均为需要进行通用矩阵计算的矩阵；将分块从图像处理单元的全局内存加载至图像处理单元的共享内存中，并采用与共享内存中的分块对应的线程进行矩阵运算；将每个线程计算得到的结果写回全局内存中对应的位置，得到第一矩阵和第二矩阵进行矩阵计算对应的矩阵计算结果。本申请解决了相关技术中大模型在推理时，由于图像处理单元全局内存的高访存延迟和低数据复用率，导致的模型推理计算效率低的技术问题。