端侧的基于大模型的推理装置及电子设备

本申请提供了一种端侧的基于大模型的推理装置及电子设备，推理装置包括：第一存储模块、第二存储模块、逻辑模块及计算模块,计算模块包括进行神经网络处理的处理器，计算模块、逻辑模块、第一存储模块、及第二存储模块通过层叠封装的方式堆叠;逻辑模块依计算模块的指令从第一存储模块读数据至计算模块且逻辑模块通过混合键合与计算模块堆叠，计算模块还根据输入数据和稀疏性预测模型预测第一存储模块中大模型的参数里待激活的神经元参数、根据预测结果从第一存储模块中读取被预测的待激活的神经元参数且依读取的神经元参数和输入数据进行神经网络计算。本发明提供的推理装置可以更好的解决带宽、存储容量、算力、能效、散热、成本、体积问题。