検索に戻る
案件記録

一种基于xFormers优化的多视角3D目标检测方法、系统及装置

発明有効
7閲覧数
10請求項 · 3 独立
§ Ⅰ

案件概要

発明者

黄全振; 王健全; 陈素霞; 李恒宇; 郭壮志; 张洋; 刘靖逸; 陈永奎; 崔嘉超; 张旭光

IPC分類

G06V 20/58 (2022.01)G06V 20/64 (2022.01)G06V 20/40 (2022.01)G06V 10/62 (2022.01)G06V 10/10 (2022.01)G06V 10/82 (2022.01)G06V 10/80 (2022.01)G06V 10/94 (2022.01)G06V 10/764 (2022.01)G06N 3/0455 (2023.01)

本发明公开了一种基于xFormers优化的多视角3D目标检测方法、系统及装置,本发明针对现有BEV3D目标检测中时序建模能力不足、全局注意力显存消耗巨大等问题,创新性地提出了基于xFormers内存高效优化的全局时序注意力机制;具体包括:(1)从多帧历史图像中逐帧提取BEV特征,构建包含3‑8帧的完整时序记忆序列;(2)通过交叉注意力机制,使当前帧BEV查询注意完整的历史记忆;(3)引入帧位置编码和相机几何编码,增强时序推理和空间一致性;(4)采用xFormers分块计算策略,将注意力矩阵显存从12.8GB降至2~3GB,实现单GPU训练;该方法在nuScenes数据集上相比现有技术,显存消耗更低,检测精度更高,时序稳定性提升,可应用于自动驾驶、智能交通、机器人导航等领域。

外部リソース