注意力计算方法、装置、设备、存储介质和程序产品

本申请涉及一种注意力计算方法、装置、设备、存储介质和程序产品。所述方法包括：将基于输入特征确定的查询矩阵、键矩阵和值矩阵进行分块，得到多个查询子矩阵、多个键子矩阵和多个值子矩阵；对所述多个查询子矩阵、所述多个键子矩阵和所述多个值子矩阵进行组合，得到多组子矩阵；每组子矩阵包括一个查询子矩阵、一个键子矩阵和一个值子矩阵；针对每组子矩阵进行注意力计算的过程中，将该组子矩阵中的查询子矩阵划分为两个查询子模块，以交替并行的计算方式处理所述两个查询子模块与该组子矩阵中的键子矩阵和值子矩阵的注意力计算流程，得到所述两个查询子模块的注意力输出。采用本方法能够提高注意力计算性能。