基于跨模态架构的模态对齐方法、装置及设备

本申请提供的基于跨模态架构的模态对齐方法、装置及设备，跨模态架构包括模态编码器、大语言模型和模态对齐模块，方法包括：获取目标模态的多个原始数据，将每个原始数据输入至大语言模型，得到多个文本响应数据；根据多个文本响应数据和多个原始数据，确定第一训练数据集；对第一训练数据集进行多级过滤处理，以得到第二训练数据集；将模态对齐模块连接至大语言模型和模态编码器，并对大语言模型的输入层和输出层的参数进行扩展；根据第二训练数据集，采用两阶段训练方式，对模态对齐模块和大语言模型的新增参数进行训练，得到训练后的跨模态架构；将待处理的多模态数据输入至训练后的跨模态架构，得到目标文本数据，提高了模态对齐效率。