基于雷视一体多模态时空对抗学习的电力场景下遮挡目标跟踪检测方法及系统

本发明公开了基于雷视一体多模态时空对抗学习的电力场景下遮挡目标跟踪检测方法及系统，涉及电力设备智能巡检领域，该方法包括：将结构化点云矩阵及视觉图像输入至双分支特征提取模型，利用双分支特征提取模型分别提取几何特征及语义特征；将双模态融合特征输入基于对抗训练策略的动态权重自适应融合机制，得到电力场景中目标在短时遮挡状态下的融合权重系数；构建双缓冲记忆池，并结合三级递进式轨迹预测补偿机制，对电力场景中长时遮挡状态下的目标轨迹位置进行补偿。本发明通过构建遮挡状态量化模型，能够根据视觉传感器实时有效性动态调整融合权重分配比例，当检测到目标设备进入遮挡状态，从而自动降低视觉数据权重至安全阈值。