CNIPA.AI
Back to Search
Dossier

一种基于xFormers优化的多视角3D目标检测方法、系统及装置

InventionActive
10Claims · 3 independent
§ Ⅰ

Dossier Overview

Inventor

黄全振; 王健全; 陈素霞; 李恒宇; 郭壮志; 张洋; 刘靖逸; 陈永奎; 崔嘉超; 张旭光

IPC Classification

G06V 20/58 (2022.01)G06V 20/64 (2022.01)G06V 20/40 (2022.01)G06V 10/62 (2022.01)G06V 10/10 (2022.01)G06V 10/82 (2022.01)G06V 10/80 (2022.01)G06V 10/94 (2022.01)G06V 10/764 (2022.01)G06N 3/0455 (2023.01)

本发明公开了一种基于xFormers优化的多视角3D目标检测方法、系统及装置,本发明针对现有BEV3D目标检测中时序建模能力不足、全局注意力显存消耗巨大等问题,创新性地提出了基于xFormers内存高效优化的全局时序注意力机制;具体包括:(1)从多帧历史图像中逐帧提取BEV特征,构建包含3‑8帧的完整时序记忆序列;(2)通过交叉注意力机制,使当前帧BEV查询注意完整的历史记忆;(3)引入帧位置编码和相机几何编码,增强时序推理和空间一致性;(4)采用xFormers分块计算策略,将注意力矩阵显存从12.8GB降至2~3GB,实现单GPU训练;该方法在nuScenes数据集上相比现有技术,显存消耗更低,检测精度更高,时序稳定性提升,可应用于自动驾驶、智能交通、机器人导航等领域。

External Resources