跨模态数据对齐方法、装置、设备、介质及程序产品

本申请提供一种跨模态数据对齐方法、装置、设备、介质及程序产品，涉及数据处理技术领域，用于提高在处理长文本或复杂描述场景时，跨模态对齐的精度与鲁棒性。该方法包括：获取目标训练样本；将N个样本对中的文本样本映射到目标嵌入空间，得到N个全局文本嵌入向量，并将N个样本对中的图像样本映射到目标嵌入空间，得到N个全局视觉特征向量；基于N个全局文本嵌入向量，获取语义主导方向，并基于语义主导方向，将每个全局文本嵌入向量转换为一个子语义成分；基于N个全局文本嵌入向量、N个全局视觉特征向量和N个子语义成分，计算目标损失值；基于目标损失值，更新跨模态数据对齐模型的参数。本申请应用于对跨模态数据对齐处理的过程。