一种基于神经辐射场合成视图辅助的多场景视觉重定位方法及系统

本发明公开了一种基于神经辐射场合成视图辅助的多场景视觉重定位方法及系统，方法包括使用视觉重定位网络提取图像特征并得到图像的位姿预测值，根据预测的场景序号利用对应场景的神经辐射场基于预测的位姿输出进行视图合成。合成图像再次输入到同一个视觉重定位网络中，得到根据合成图像预测的场景序号和位姿。根据真实序列图像和合成图像得到的特征、场景序号预测值和位姿预测值得到特征一致损失、分类损失和位姿损失。最后，将待预测的序列图像输入到训练好的视觉重定位网络中，获得对应的场景序号和位姿。本发明可以指导视觉重定位网络更有效地利用图像中所蕴含的场景三维信息，提高视觉重定位的精度和网络泛化能力。