注意力算子的边界保护方法、装置、介质及设备

本发明公开了一种注意力算子的边界保护方法、装置、介质及设备，所述方法包括：利用张量内存加速器，按照预设分块尺寸加载键矩阵中各分块的数据，并对尾部分块超出有效序列长度的越界位置填充特殊浮点数，得到填充后的尾部分块；其中，特殊浮点数包括：负无穷、正无穷或非数值；获取填充后的尾部分块对应的注意力分数分块；利用指定线程组执行位运算转换操作，将注意力分数分块中的所有非有限数值转换为负无穷，得到转换后的注意力分数分块，以使得越界位置对相应注意力权重的计算无贡献；其中，位运算转换操作是基于元素的浮点数编码实现的，且不包括条件分支指令。本发明能够避免条件分支导致的线程束发散问题，提高注意力的计算效率。