一种基于沙漏网络的深度补全方法

本发明涉及一种基于沙漏网络的深度补全方法，属于图像处理领域。所述方法，使用沙漏网络级联作为编、解码器，并对编码器进行改进保持轻量化，将用于逐步上采样的反卷积层替换为双线性插值；使用混合注意力模块，自适应地调整深层特征图的权重，更好地捕捉关键信息。提出基于注意力的融合模块，使网络能够有效地融合来自不同模态图像的信息，从而更好地利用RGB图像指导深度图的恢复。解码器由多个相同的沙漏网络级联构成，将原始深度图下采样后与之前的特征一同送入解码器进行上采样，并在多个尺度特征上进行监督，提升网络在多尺度上深度预测的精度。本发明在保持实时运行的同时具有优异的深度补全性能。