基于多模态大模型的公交客流检测方法及装置

本公开提出一种基于多模态大模型的公交客流检测方法及装置，涉及智慧公交技术领域。其中，方法包括：通过视觉模型对公交监控视频进行ROI区域识别，确定公交监控视频中的下车区域；基于目标检测模型提取公交监控视频中下车区域的乘客图像补丁；通过ViT图像编码模块提取乘客图像补丁中的第一视觉特征；通过模态适配器将第一视觉特征转换为与LLM大语言模型输入语义对齐的第二视觉特征；将第二视觉特征向量和提示文本特征输入至LLM大语言模型中，得到与提示文本特征对应的公交客流信息。本公开可识别细粒度的公交客流信息，丰富客流信息包含的乘客特征，为深度客流分析提供多维数据支撑，并且在公交车复杂场景内具有较高识别率和适应率。