基于多模态数据融合的数据分析方法、装置、设备及介质

本发明涉及数据分析技术领域，公开了一种基于多模态数据融合的数据分析方法、装置、设备及介质，包括：采集视觉数据、音频数据及工艺文本数据，对不同类型的数据分别进行预处理和标准化处理，构建时间戳对齐的多模态数据集，进而提取图谱结构特征、时频动态特征与语义向量特征，并利用跨模态注意力机制对上述特征进行融合，生成融合特征向量，最终基于融合特征向量进行分析处理，输出分析结果。本发明通过构建时间一致的多模态数据集，提取各类模态的结构化特征，并引入跨模态注意力机制实现特征层面的深度融合，解决了现有检测手段信息利用单一、特征关联性弱的问题，从而提升缺陷检测的全面性与故障诊断的准确性。