CNIPA.AI
검색으로 돌아가기
기록

面向NPU的大语言模型融合算子模板生成与运行时闭环优化方法及系统

발명알 수 없음
9조회수
10청구항 · 10 독립항
§ Ⅰ

개요

발명자

魏楚元

출원일

Jul 21, 2026

공개일

Oct 16, 2026

IPC 분류

G06N 3/063 (2023.01)G06N 5/04 (2023.01)

本申请涉及人工智能模型硬件推理加速技术领域,公开了一种面向NPU的大语言模型融合算子模板生成与运行时闭环优化方法、系统、设备和存储介质。该方法从大语言模型计算图识别LLM算子链并获取NPU能力描述,针对同一算子链生成包含KV Cache布局契约、精度计划、SRAM生命周期与DMA计划的多个micro‑kernel模板;执行中采集硬件profile指标并生成精度对齐误差,据以计算各模板运行时代价,在安全边界且布局一致时热切换为代价更低模板,精度越限时局部复算或回退保守模板,有助于减少片外访存与中间张量写回、提高NPU处理速度并降低隐性误差风险。