基于RRAM存内计算的专家模型推理系统及推理方法

本申请提供一种基于RRAM存内计算的专家模型推理系统及推理方法，应用于人工智能技术领域。系统包括GPU客户端、通信控制模块和RRAM服务器；GPU客户端用于对输入序列进行注意力机制计算获得激活向量；进行专家路由计算获得目标专家索引；将激活向量和目标专家索引封装为待处理任务；通信控制模块的共享缓冲区用于存储待处理任务；RRAM服务器包括RRAM存内计算阵列和控制器，RRAM存内计算阵列与多个专家模块具有映射关系；控制器用于从共享缓冲区读取待处理任务，控制RRAM存内计算阵列对激活向量进行运算，获得推理结果；共享缓冲区还用于存储推理结果，供GPU客户端读取推理结果。该系统提高了推理效率。