検索に戻る
案件記録
基于扩散模型步间相似性的批内并行方法
発明有効
4請求項 · 1 独立
§ Ⅰ
案件概要
発明者
赵杰茹; 王崑运; 李波含; 过敏意; 俞凯
IPC分類
G06F 9/50 (2006.01)G06N 5/04 (2023.01)
本发明涉及一种基于扩散模型步间相似性的批内并行方法,针对现有扩散模型并行推理方案通信开销高、设备依赖强、调度粒度粗等问题,提出核心方案ParaBatch:利用相邻去噪步噪声预测的分布相似性,复用前序噪声预测结果生成后续步样本估计,并将其与常规计算样本合并为批,通过单次前向传播实现并行计算与结果修复,显著减少噪声预测器调用次数。同时,本发明提出以去噪时间步为粒度的连续批处理机制,动态调整执行批内请求,减少排队与等待延迟。该方案在单设备上即可实现高效并行,无需额外硬件与高带宽通信,适用于扩散模型的连续批处理方法,增强了处理多个请求的能力。
外部リソース