基于语义时序协同建模的多模态视频融合方法与装置

本发明公开了基于语义时序协同建模的鲁棒多模态视频融合方法与装置。该方法包括：对可见光视频序列和红外视频序列分别提取多尺度层级空间特征，基于多尺度层级空间特征得到退化嵌入，基于约束对齐后的退化嵌入对多尺度层级空间特征进行多尺度退化调制；在训练好的可学习字典中检索与退化增强的多尺度层级空间特征最相关的量化原型，基于量化原型和退化增强的多尺度层级空间特征执行交叉注意力并进行融合得到融合特征；进行时序建模和双向传播得到双向增强后的融合特征，对双向增强后的融合特征进行时空聚合得到时空融合特征；基于融合特征和时空融合特征进行重建得到融合视频。本发明能够生成细节轮廓清晰、结构完整、时序丝滑流畅的融合视频。