一种MRAG系统的多模态检索增强优化方法

本发明提供了一种MRAG系统的多模态检索增强优化方法，MRAG系统采用分阶段训练策略，包括第一阶段的无监督训练及第二阶段有监督训练，其中，第一阶段的将输入的所模态数据的编码特征进行初步对齐，第二阶段的有监督训练进一步引导所有模态数据的编码特征对齐。通过第一阶段的自监督学习可以初始化模型，利用海量的无监督多模态数据，让它获得较为稳健的模态内部表征；第二阶段的基于FGA策略的对比学习更关注模态之间的对齐，并且弥补了模态之间的特征差距，分阶段可以让模型更稳定、泛化性更强，通过这种监督训练方法，StagedCRE能够在多模态数据上实现高效、准确的特征对齐。