検索に戻る
案件記録
基于时间步感知协同缓存量化机制的扩散模型推理加速方法及系统
発明不明
12閲覧数
10請求項 · 4 独立
§ Ⅰ
案件概要
IPC分類
G06N 3/045 (2023.01)G06N 3/082 (2023.01)G06N 3/063 (2023.01)G06N 5/046 (2023.01)G06F 18/10 (2023.01)G06F 18/214 (2023.01)
本发明公开了一种基于时间步感知协同缓存量化机制的扩散模型推理加速方法及系统。针对特征缓存与模型量化技术简单叠加引发的生成质量严重下降问题,本发明建立误差传播数学模型,揭示激活量化误差与缓存误差的耦合放大机制;对模型权重执行低精度量化并保持激活值全精度表示;基于状态转移Jacobian矩阵的谱范数轨迹确定误差敏感区间;在去噪迭代推理中,当前时间步处于敏感区间时禁用缓存并执行完整前向推理以隔离误差,处于非敏感区间时启用选择性缓存策略复用历史特征。本发明在大幅降低计算开销、显著提升推理加速比的同时保持高生成保真度,且无需额外训练或校准,具有优异的部署便利性。
外部リソース