検索に戻る
案件記録

一种基于门控协同融合的毫米波雷达手势识别方法及系统

発明有効
5請求項 · 2 独立
§ Ⅰ

案件概要

IPC分類

G06V 40/20 (2022.01)G06V 10/42 (2022.01)G06V 10/44 (2022.01)G06V 10/80 (2022.01)G06V 10/764 (2022.01)G06V 10/82 (2022.01)G06V 10/762 (2022.01)G06T 7/246 (2017.01)G06N 3/0442 (2023.01)G06N 3/048 (2023.01)G06N 3/044 (2023.01)G06N 3/045 (2023.01)G06N 3/0464 (2023.01)G06N 3/08 (2023.01)

本发明公开了一种基于门控协同融合的毫米波雷达手势识别方法及系统,属于人工智能与人机交互技术领域。该方法包括:首先,通过毫米波雷达传感器采集原始数据并进行预处理;其次,并行提取能表征手势整体运动轨迹的全局空间特征图(如二维点云图),以及能表征手势动态信息的多个局部动态特征图(如距离‑时间图、多普勒‑时间图等);然后,通过本发明设计的门控协同融合网络对提取的多模态特征进行处理。其核心在于,将所述全局空间特征图通过第一神经网络和全局平均池化层处理,以生成一个静态全局特征向量;利用所述静态全局特征向量通过门控单元去动态调制由第二神经网络处理得到的局部特征序列;最后,将所有被调制后的序列融合并输入至时序处理模块进行分析,输出最终的手势类别。本发明通过创新的门控融合机制,实现了多模态特征的动态协同,有效解决了传统融合方法无法适应不同手势特征变化的问题,显著提升了手势识别的准确率和鲁棒性。

外部リソース