面向自动驾驶场景的跨视角空间视觉语言模型训练方法

本发明公开了一种面向自动驾驶场景的跨视角空间视觉语言模型训练方法。该方法首先获取自动驾驶场景中的鸟瞰图图像，通过三维包围框投影生成带有目标物体标记的多摄像头图像，采用输入级鸟瞰图注入方式，将鸟瞰图图像与多摄像头图像统一组织为视觉问答形式的数据，以适配多种空间感知任务；采用参数高效微调方式对预训练视觉语言模型QwenVL 2.5进行联合优化训练，且保持大部分预训练参数冻结。本发明显著提升视觉语言模型的空间感知能力，通过多种空间估计任务及三维几何约束，增强多视角推理与全局认知；同时采用参数高效微调，仅训练少量参数，降低资源消耗，保持推理速度，适用于自动驾驶边缘端实时部署。