一种兼顾隐私保护的多模态驾驶员异常行为检测方法

本发明公开了一种兼顾隐私保护的多模态驾驶员异常行为检测方法。采用基于块压缩感知的动态视觉掩码技术对驾驶员面部视频进行隐私保护处理，保留关键生理区域信息的同时隐藏非关键区域；从隐私保护后的视频数据中同步提取面部表情时空特征和rPPG生理信号特征；通过基于Mamba架构的跨模态互补模块实现双模态特征交互，利用选择性扫描机制减少冗余信息影响；采用多层级自适应融合模块进行渐进式特征融合，实现驾驶员异常行为的端到端检测。本发明仅需车载摄像头作为数据源，无需额外传感器设备，具有良好的实用性和部署便利性。