模型推理方法和模型推理系统

本发明适用于人工智能技术领域，涉及一种模型推理方法和模型推理系统。其中，通过地址预测器获取需要进行模型推理的目标模型的层间结构特征及其首层权重参数在持久化存储空间中的第一起始存储地址；根据第一起始存储地址和层间结构特征，计算各层权重参数对应的存储地址偏移量；根据第一起始存储地址和各层权重参数所对应的存储地址偏移量，确定各层权重参数在持久化存储空间中的第一目标存储地址并发送至缓存控制器，各第一目标存储地址用于缓存控制器从持久化存储空间预取各层权重参数供计算单元推理使用。本发明能够提升模型推理的整体性能，尤其适用于大规模深度学习模型在边缘设备或终端设备上的高效部署。