一种基于图像识别的三维动态手势识别方法及系统

本发明公开了一种基于图像识别的三维动态手势识别方法及系统，涉及计算机视觉技术领域，包括，采集手部关键点数据和环境参数，基于采集的数据提取关键帧序列；基于关键帧序列使用卷积神经网络模型得到加权特征图，使用加权特征图生成空间加权特征图，将空间加权特征图拼接成集合，基于集合使用Transformer模型获得融合特征向量；基于融合特征向量优化多模态网络架构，使用优化后的多模态网络架构提取代表性特征向量并生成用户专属模板；将用户专属模板加密并建立向量索引，基于存储的模板库和向量索引，利用优化后的多模态网络架构提取测试特征，并进行相似度匹配。本发明提升了三维动态手势识别的精度、鲁棒性和自适应性。