一种基于高斯泼溅的端到端稀疏视角合成方法

本发明提供了一种基于高斯泼溅的端到端稀疏视角合成方法。该方法包括：通过相机拍摄获取静态场景中的稀疏多视角图像序列，得到稠密的光流场和监督对应关系；通过深度卷积神经网络预测帧图像的逐像素深度值。利用软选择机制估计相机的内参，通过Procrustes分析法对所述相机的外参进行解算，得到相机参数；将帧图像中的像素点逐点反投影至三维空间，形成帧图像的初始点云；利用高斯分布函数在帧图像的逐像素深度值构建多个高斯层，将高斯层和帧图像的逐像素深度值进行联合优化，得到静态场景中的新视角下的稀疏多视角图像序列。本发明提出一种端到端可微的解决方案，通过光流生成的稀疏点云和3D场景变量，实现了在稀疏视角实现很好的新视角合成性能。