基于多模态稀疏化特征过滤网络的半监督视频异常检测方法及装置

本发明公开了一种基于多模态稀疏化特征过滤网络的半监督视频异常检测方法及装置，方法包括：分别提取视频帧的视觉特征、语义特征和运动特征，将视觉与运动特征按通道拼接后插入语义特征形成多模态融合特征；再用含稀疏化特征过滤模块的联合解码器解码，输出预测帧与预测语义特征；同时借助多模态一致性增强机制优化模型，推理阶段以预测帧与真实帧的均方误差、预测语义特征与输入语义特征的语义相似度误差的加权和作为异常置信度。本发明可以实现异常信息的自适应和多样化的过滤过程与多模态交互增强。另外，本方法无需依赖目标检测或跟踪预处理，可直接处理整帧输入，复杂场景下对小目标或低运动幅度异常行为的检测准确率得到有效提升。