一种基于多模态分类的无人机拍摄目标的混合跟踪方法

一种基于多模态分类的无人机拍摄目标的混合跟踪方法。涉及无人机航拍技术领域，具体涉及一种基于多模态分类的无人机拍摄目标的混合跟踪方法。本发明采用双塔深度学习架构，采取点云分支+视觉分支进行多模态特征融合分类，并根据分类结果选择SiamFC++改进模块和TR‑TBP‑TPMB模型进行跟踪，最终得到点目标跟踪结果和扩展目标跟踪结果。所述方法包括如下步骤：将预处理后的图像数据集，输入PointNet++与ResNet双塔分类结构，所述双塔分类结构，将目标分为点目标和扩展目标；点目标输入SiamFC++改进模块，得到点目标跟踪结果；扩展目标输入TR‑TBP‑TPMB模型，得到扩展目标跟踪结果。