基于自适应算子融合的大模型推理加速方法、系统、电子设备和介质

本发明公开了一种基于自适应算子融合的大模型推理加速方法、系统、电子设备和介质，属于人工智能技术领域。针对大模型推理加速中算子融合较差的问题，本发明提供基于自适应算子融合的大模型推理加速方法，包括构建融合收益回归模型；对目标大模型进行静态图结构分析，并根据融合模式集合，确定融合子图集合；提取所述融合子图集合中的各个融合子图的拓扑特征；获取目标硬件类型，以及目标硬件运行中的性能参数；通过所述融合收益回归模型，确定所述融合子图集合中的各个融合子图在所述目标硬件类型、性能参数下的融合收益；根据融合收益确定各个所述融合子图的融合策略，并生成对应的融合内核。本发明可根据不同模型结构、硬件平台以及运行时负载，动态决策融合策略，提高算子融合效果，实现更高的推理效率与资源利用率。