一种面向分心与疲劳驾驶的多模态轻量化感知方法及设备

本发明涉及一种面向分心与疲劳驾驶的多模态轻量化感知方法，包括：采集多模态数据，组成多源异构原始数据集；建立树状分析模型；计算样本集特征向量方差；生成高质量最终数据集S*；构建轻量化感知模型；将轻量化感知模型进行任务拆分，得到中间特征与推理结果；动态调整预警阈值，输出驾驶员疲劳与分心状态并触发分级预警。本发明通过多模态数据融合采集，结合RGB视觉、红外热成像、车载CAN总线多源信息，提升疲劳与分心状态识别的鲁棒性；剔除无效数据，提升数据集的信息增益与模型训练效率；结合知识蒸馏、剪枝、量化技术，实现模型参数量与计算复杂度的大幅降低，适配车载嵌入式硬件部署，满足低功耗、高帧率实时推理需求。