検索に戻る
案件記録
面向NPU的大语言模型融合算子模板生成与运行时闭环优化方法及系统
発明不明
12閲覧数
10請求項 · 10 独立
§ Ⅰ
案件概要
IPC分類
G06N 3/063 (2023.01)G06N 5/04 (2023.01)
本申请涉及人工智能模型硬件推理加速技术领域,公开了一种面向NPU的大语言模型融合算子模板生成与运行时闭环优化方法、系统、设备和存储介质。该方法从大语言模型计算图识别LLM算子链并获取NPU能力描述,针对同一算子链生成包含KV Cache布局契约、精度计划、SRAM生命周期与DMA计划的多个micro‑kernel模板;执行中采集硬件profile指标并生成精度对齐误差,据以计算各模板运行时代价,在安全边界且布局一致时热切换为代价更低模板,精度越限时局部复算或回退保守模板,有助于减少片外访存与中间张量写回、提高NPU处理速度并降低隐性误差风险。
外部リソース