北京舞水科技有限公司

本发明公开了一种基于视觉语言大模型的时域拼接全景相机系统及方法，属于计算机视觉与图像处理技术领域。本发明通过多镜头相机阵列采集时域图像序列，利用预训练的视觉语言大模型VLM对多帧图像进行深度语义分析，生成包含重叠区域语义分割结果、运动估计参数和拼接缝位置建议的结构化拼接指导信号；基于拼接指导信号进行时域特征对齐和重叠区域匹配；通过融合语义差异图、梯度能量图和时域约束能量的加权代价函数进行自适应拼接缝优化；最终通过时域加权中值滤波、双向光流检测和VLM语义一致性校验的三重时域一致性约束，输出高质量的全景图像序列。本发明解决了传统方法在低纹理、光照变化和动态场景下拼接质量差的问题，拼接成功率达到96%以上，时域PSNR波动降低至±0.8dB。