基于DDIM-CLIP模型的VR视频显著性预测方法及系统

基于DDIM‑CLIP模型的VR视频显著性预测方法及系统，属于视觉显著性预测技术领域。用于解决传统视觉显著性预测方法存在的计算成本高、推理速度局限、推理误差大问题。方法包括：获取原始RGB图像及对应的显著性标注图；并通过CLIP模型提取图像特征；对显著性标注图执行DDPM模型前向加噪过程生成加噪图像，并将其输入U‑net架构；在多次训练迭代中，U‑Net通过融合CLIP图像特征来预测噪声，并通过最小化其预测与真实噪声之间的损失，逐步优化网络参数；在推理阶段，采用DDIM采样算法作为解码过程，利用训练好的U‑Net生成最终的显著性图像。本发明适用于工业质检、智能交通等众多应用场景的VR视频显著性预测。