多模态数据处理方法、系统及相关设备

本公开提供了一种多模态数据处理方法、系统及相关设备，涉及人工智能技术领域。该方法包括：获取多模态数据；根据多模态数据对目标任务模型进行训练，并在目标任务模型的训练过程中，补充多模态数据增强样本作为输入，利用动态调整各模态数据权重信息的目标损失函数优化目标任务模型的训练过程；其中，多模态数据增强样本为将各模态数据输入至预先训练好的跨模态双向生成式数据增强模型后输出的；目标损失函数中各模态数据的权重信息根据各模态数据的特征数据确定。本公开能够实现模型训练过程中不同模态权重的自适应调节，使得训练得到的模型在不同任务和数据分布下具有更强的泛化能力。