検索に戻る
案件記録

面向NPU的大语言模型融合算子模板生成与运行时闭环优化方法及系统

発明不明
12閲覧数
10請求項 · 10 独立
§ Ⅰ

案件概要

発明者

魏楚元

出願日

Jul 21, 2026

公開日

Oct 16, 2026

IPC分類

G06N 3/063 (2023.01)G06N 5/04 (2023.01)

本申请涉及人工智能模型硬件推理加速技术领域,公开了一种面向NPU的大语言模型融合算子模板生成与运行时闭环优化方法、系统、设备和存储介质。该方法从大语言模型计算图识别LLM算子链并获取NPU能力描述,针对同一算子链生成包含KV Cache布局契约、精度计划、SRAM生命周期与DMA计划的多个micro‑kernel模板;执行中采集硬件profile指标并生成精度对齐误差,据以计算各模板运行时代价,在安全边界且布局一致时热切换为代价更低模板,精度越限时局部复算或回退保守模板,有助于减少片外访存与中间张量写回、提高NPU处理速度并降低隐性误差风险。

外部リソース