一种基于多模态LLM的跨媒介数据融合分析方法及系统

本发明公开了一种基于多模态LLM的跨媒介数据融合分析方法及系统，方法包括：接收来自不同来源的包含文本数据、图像数据和音频数据的多模态数据，并将多模态数据输入到多模态LLM模型的统一编码器中进行联合编码，生成具有跨模态关联的语义特征表示；将语义特征表示输入到多模态LLM模型的跨模态对齐模块，生成空间一致的跨媒介嵌入表示；利用多模态LLM模型中的分层融合网络对跨媒介嵌入表示进行多尺度特征交互，生成语义增强的统一融合特征；将统一融合特征输入到多模态LLM模型的多任务预测头中，输出具有跨模态一致性的综合分析结果。利用本发明实施例，能够提升跨模态分析的准确性、一致性与认知深度。