一种基于多模态数据融合的大模型训练优化方法及装置

本发明涉及一种基于多模态数据融合的大模型训练优化方法及装置，该方法包括：获取多模态数据，并提取每个模态的数据对应的初始特征；根据所有模态的数据对应的初始特征，提取得到每个模态的数据对应的局部对齐特征和全局对齐特征，根据每个模态的数据对应的局部对齐特征和全局对齐特征，确定每个模态对应的对齐后特征；根据所有模态对应的对齐后特征，对初始模型进行训练，得到多模态大模型，以基于多模态大模型对待处理的多模态数据进行处理，得到待处理的多模态数据对应的语义。通过本发明的方法，显著提升了大模型的语义一致性、训练效率及泛化能力，具有广阔的产业化前景。