一种时延约束的车联网多模态协同感知方法及系统

本发明公开了一种时延约束的车联网多模态协同感知方法及系统，包括：采集点云数据和图像数据并进行特征提取、融合和空间投影；构建二维卷积分类神经网络，提取位置级重要性概率图和用于筛选关键信息的掩码；构建效益估计神经网络和约束评估神经网络，预测系统效益与约束条件的期望值；同时建立整体策略选择模块；车队基于信息交互进行目标识别并计算奖励，从而获取感知经验样本；基于感知经验样本更新网络参数，获得最终整体策略选择模块。本发明基于强化学习优化车辆的发射功率、传输信道与感知数据区域，并引入策略修正机制，对高时延或高丢包的风险策略进行动态修正，避免感知信息延迟、错误传输导致的目标识别偏差与决策失误。