一种多模态融合3D目标检测方法及装置

本发明涉及一种多模态融合3D目标检测方法及装置，属于3D目标检测技术领域，该方法包括获取原始图像数据，原始图像数据包括点云数据和图像数据；基于编码器对原始图像数据进行二维映射，得到特征向量矩阵；特征向量矩阵包括点云数据的点云特征矩阵和图像数据的图像特征矩阵；基于无迹卡尔曼滤波器对点云特征矩阵和图像特征矩阵进行多模态融合，得到更新状态矩阵；基于解码器对更新状态矩阵进行特征提取和评估，得到目标检测结果。本发明将原始图像数据中的点云数据和图像数据分开进行处理，保留了点云数据三维特性，并通过无迹卡尔曼滤波器估计出系统的最优状态，保留了点云数据三维特性，提高了目标检测的准确性。