基于大模型推理的算力预测方法及系统

本申请涉及一种基于大模型推理的算力预测方法及系统。通过对令牌序列进行语义编码、路由倾向预测与语义突变检测，生成语义特征向量序列；采集图形处理器内存访问、指令流水线状态及历史专家负载，生成硬件状态特征向量；基于语义特征向量序列与硬件状态特征向量，经时序对齐与交叉注意力融合得到协同特征向量，将该向量输入预设的预测神经网络进行预测处理，输出未来预设数量个时间步的图形处理器利用率预测值序列，基于图形处理器利用率预测值序列生成算力预警信号。该方法通过融合文本语义突变感知与硬件流水线状态的双路协同预测机制，有效提高了混合专家架构大模型推理场景下图形处理器算力波动预判的精准度与前置性。