基于门控的流式多模态融合视听源分离方法

本发明公开了一种基于门控的流式多模态视听源分离方法。该方法采用双阶段的特征融合策略，逐步整合音频、视觉与运动模态信息，动态调节各模态在融合过程中的贡献。所述方法包括：提取音频的频谱特征、通过目标检测与视频编码网络提取视觉与运动特征；在编码器瓶颈位置引入两阶段门控注意力模块，生成第一阶段与第二阶段融合权重，实现跨模态动态特征整合；融合后的多模态特征输入至音视频Transformer模块，生成音频掩码，用于还原目标声源信号。本发明方法适用于复杂多源场景中的音视频源分离任务，具有融合精度高、实时性强、分离效果优等优点。