검색으로 돌아가기
기록
一种数据块解码方法、装置、设备、介质及产品
발명알 수 없음
29조회수
16청구항 · 5 독립항
§ Ⅰ
개요
IPC 분류
G06F 40/284 (2020.01)G06F 40/295 (2020.01)G06F 40/237 (2020.01)G06N 3/045 (2023.01)G06N 5/04 (2023.01)
本说明书实施例提供了一种数据块解码方法、装置、设备、介质及产品,其中,方法包括:响应于客户请求生成待解码词元序列,将待解码词元序列划分为多个数据块,并构建波前窗口纳入其中连续的若干个数据块,再调用自纠错扩散语言模型对波前窗口中的若干个数据块进行并行去噪处理;其中,任一数据块的上下文信息可以包括针对待解码词元序列已缓存的定稿词元以及波前窗口内位于该数据块之前的数据块中的已揭示词元与掩码词元;输出解码后的词元序列。该方案,通过构建波前窗口将多个数据块纳入同一处理范围并进行并行去噪处理,可以提升单次前向传播中模型计算资源的利用率,降低模型的推理耗时,进而可以提升模型的推理效率。