基于多模态的疲劳状态监测方法及一体式双目摄像头

本申请提供了一种基于多模态的疲劳状态监测方法及一体式双目摄像头，包括：采集驾驶员对应的彩色面部图像数据以及红外面部图像数据；分别通过多轴加速度采集模块采集目标驾驶设备的运动状态数据以及通过光照采集模块采集环境光照数据；分别从彩色面部图像数据中提取驾驶员对应的第一面部特征以及从红外面部图像数据中提取驾驶员对应的第二面部特征；将第一面部特征、第二面部特征、运动状态数据和环境光照数据输入预设疲劳状态融合决策模型，得到驾驶员的疲劳状态分析结果。通过集成在一体式双目摄像头内部的传感器对驾驶员疲劳状态进行多源多模态疲劳状态分析，结构简单，降低功耗、减少占用空间，且多源融合，提供最终分析精度。