CNIPA.AI
검색으로 돌아가기
기록

数据处理方法、装置、计算机设备及存储介质

발명유효
10청구항 · 4 독립항
§ Ⅰ

개요

발명자

赵文科; 孙琦

IPC 분류

G06F 3/06 (2006.01)G06F 9/50 (2006.01)G06N 3/0455 (2023.01)

本申请公开了一种数据处理方法、装置、计算机设备及存储介质,方法包括:根据列方向拼接方式和Transformer模型中注意力机制所需的Q、K、V三组权重矩阵构建第一融合权重矩阵;对所述第一融合权重矩阵进行统一的低比特量化处理,生成第二融合权重矩阵;将激活输入矩阵与所述第二融合权重矩阵进行通用矩阵乘法计算,获得融合输出矩阵;根据预设维度对所述融合输出矩阵进行切分恢复,提取出Q、K、V矩阵;对提取出的Q、K、V矩阵进行误差校正处理,获得校正后的Q、K、V矩阵。本申请涉及人工智能模型推理优化领域,旨在通过对权重的融合表示、量化协同优化和矩阵乘法重构,实现Q、K、V矩阵的高效联合计算,减少存储与计算成本,提高推理性能。