多模态融合与生成式修复的恶劣环境三维建模方法及系统

本发明属于三维建模技术领域，具体提出了多模态融合与生成式修复的恶劣环境三维建模方法及系统。包括对原始图像和原始点云进行特征融合，并完成初始语义分割，得到初始语义分割图；采用双分支机制得到初始语义分割图对应的置信度图；基于原始点云得到物体分割掩码；结合初始语义分割图和对应的置信度图，对物体分割掩码进行优化，基于优化后的分割掩码生成引导图；基于生成的引导图，对原始图像进行修复，得到修复图像；对原始图像和修复图像进行特征融合，并采用自适应推理机制，得到语义输出图；结合语义输出图和修复图像，构建出待建模环境的三维环境模型。本发明提升了复杂工业环境三维模型的完整性、几何准确性和语义合理性。