一种用于无人机的扩散模型的视频预测方法

本发明涉及视频处理技术领域，包括一种用于无人机的扩散模型的视频预测方法，适用于无人机拍摄的视频中帧缺失、帧间插值、关键帧补全场景。包括视频压缩与丢帧退化建模：使用向量量化生成对抗网络对原始视频序列进行压缩，在潜在空间中模拟这一退化过程；视频扩散变换器模型构建后，从标准正态分布中随机采样，得到初始噪声化的潜在表示；迭代优化并进行观测一致性校正；将迭代优化后的潜在表示通过解码器还原为完整视频帧，完成对缺失视频帧的预测与补全。通过视频扩散变换器的自注意力机制自动学习时空关系，无需依赖光流等传统对齐模块以避免对齐误差导致的预测失真，可直接通过无人机机载硬件设备处理视频中任意位置的帧缺失。