数据处理方法、装置、计算设备及程序产品

本申请公开了一种数据处理方法、装置、计算设备及程序产品，属于AI技术领域。在本申请中，针对模型中的任一个变换层中的注意力头，确定注意力头的稀疏模式，进而基于注意力头的稀疏模式，对输入的第一序列进行注意力稀疏处理。其中，稀疏模式是根据注意力头的注意力头模式确定的，而注意力头模式用于指示注意力头对输入序列的关注方式，也即，用于指示注意力头关注的是输入序列中的哪些依赖关系。由此可见，在本申请中，对于模型中不同的注意力头，基于注意力头对输入序列的关注方式，采用对应的稀疏模式来进行注意力稀疏处理，这样，可以在尽可能的保证计算精度的同时，降低计算开销，缩短计算时长。