用于模型推理阶段的用户输入信息处理方法及系统

本申请公开了一种用于模型推理阶段的用户输入信息处理方法及系统，属于人工智能技术领域，该方法包括：获取用户输入的多个完整提示；定期获取硬件资源信息和当前任务信息；确定完整提示对应的硬件资源分配信息；在预填充阶段根据硬件资源分配信息对完整提示通过预执行并行计算操作；根据硬件资源分配信息交替循环在前馈网络阶段调用算力达到预设算力阈值的第一类计算设备从预设资源池读取中间特征进行解码存储操作，以及在注意力阶段调用访存性能达到预设访存性能条件的第二类计算设备从预设资源池读取数据进行注意力计算存储操作，得到模型推理结果并输出，解决了硬件资源浪费的技术问题，达到了提高资源利用率和推理效率的技术效果。