基于深度学习的地空多模态数据自适应融合方法及系统

本发明涉及地空协同感知技术领域，尤其涉及一种基于深度学习的地空多模态数据自适应融合方法及系统，方法包括：采集地面与空中多种传感器的同步或异步观测数据，对观测数据进行时序与空间对齐，得到对齐后的多模态观测集合；将多模态观测集合输入各自的模态编码器进行特征提取，得到对应的模态嵌入表示；基于模态嵌入表示与场景，分别对各模态计算可靠性评分，并将可靠性评分归一化得到各模态的权重；将模态嵌入表示经跨模态注意力机制与权重进行自适应融合，得到全局融合表征；基于全局融合表征分别进行感知任务预测并估计任务不确定性，并将感知结果映射为地空协同控制的控制量，实现地空协同控制。面对模态丢失或恶劣天气仍能保持较高性能。