基于多模态感知和端到端的无人机目标跟踪方法及系统

本发明涉及一种基于多模态感知和端到端的无人机目标跟踪方法及系统，通过RGB图像、热红外图像与激光雷达点云的多模态融合，结合目标历史位置信息，采用端到端深度学习网络预测无人机未来运动轨迹。网络结构包括轨迹锚点预测分支与目标位置回归分支：轨迹锚点预测分支输出轨迹存在概率、轨迹偏移量和轨迹代价评分；位置回归分支直接预测目标的三维坐标。最终端到端生成无人机的飞行轨迹。将轨迹点直接映射为飞控可执行的低层控制指令，包括位置、速度和姿态指令并由飞控系统直接执行，实现对目标的自主跟踪。本发明在弱光、遮挡和复杂环境中均表现出较高鲁棒性和精确度，适用于电力巡检、灾害救援、安防监控及自动驾驶协同等多种应用场景。