검색으로 돌아가기
기록
一种面向GEMM负载的GPU建模方法
발명유효
7청구항 · 1 독립항
§ Ⅰ
개요
발명자
肖利民; 宋震; 王良; 徐向荣
IPC 분류
G06F 11/34 (2006.01)G06F 7/544 (2006.01)G06N 3/0455 (2023.01)G06N 3/084 (2023.01)G06N 3/0985 (2023.01)G06N 5/04 (2023.01)
一种面向GEMM负载的GPU建模方法,通过多级协同建模机制,将缓存行为、指令开销与计算强度深度耦合,实现GPU执行GEMM算子的精准性能预测,可广泛应用于AI训练、科学计算等GPU密集型场景的调度优化,首先建立三级缓存权重分配机制,量化L1/L2缓存命中率和DRAM带宽退化因子对有效带宽的贡献;其次引入指令级访存开销修正机制,通过动态参数调优捕获混合精度及稀疏计算场景的真实计算强度;然后结合算力峰值与带宽上限构建双边界约束模型,生成理论性能临界值;进一步基于神经网络预测流多处理器利用率,通过多层感知机结构量化硬件资源争用导致的效率损失;最终整合模块输出任务执行时间,实现端到端性能预测。