一种基于局部信息理解的深度图片问答方法及系统

一种基于局部信息理解的深度图片问答方法及系统，涉及自然语言处理技术领域，针对现有方法普遍忽视了深度图中物体深度信息的连续变化特征，未能建立对局部空间结构的细粒度表征机制，因此导致得到的问题答复不准确的问题，本申请构建了深度视觉编码器、线性对齐层与大语言模型相结合的统一体系，实现了从深度图像到语言语义的细粒度空间对齐与理解。进而解决了现有方法普遍忽视了深度图中物体深度信息的连续变化特征，未能建立对局部空间结构的细粒度表征机制，因此导致得到的问题答复不准确的问题。