面向电力设备多模态大模型构建方法、系统、介质及设备

一种面向电力设备故障运维的多模态大模型构建方法、系统、介质及设备，方法中，多模态数据采集与预处理，收集图像、视频、文本、音频和信号五种模态的电力数据，并进行相应的预处理以形成规范化的多模态数据；多模态特征融合，利用各模态的编码器基于多模态数据提取特征向量，并在多层Transformer架构中进行跨模态信息对齐和融合，生成统一的特征表示；多模态推理与生成，基于多层Transformer架构对融合后的特征表示进行深度学习和推理，理解多模态数据之间的向量表示；多模态输出，将向量表示转换为人类可读或机器可执行的输出形式。