基于多模态数据处理的海底景象重建方法及装置

本公开的实施例涉及一种基于多模态数据处理的海底景象重建方法及装置，该方法包括：获取水下设备采集的视频数据、音频数据和时空数据，将包含ENU坐标和时间戳的元数据嵌入视频数据和音频数据中，输出FFmpeg格式的媒体文件；从FFmpeg格式的媒体文件中提取视频流、音频流和元数据流，生成场景图流，并将视频流、音频流、场景图流进行同步和切割，输出时间对齐的窗口数据；将时间对齐的窗口数据预处理后依次输入多模态融合Transformer模型和基于能量函数的Transformer模型中，输出场景token向量；将场景token向量转换为八叉树数据结构，并将八叉树数据结构输入解码器，生成海底景象的3D场景图。