一种基于多模态融合的智能手语翻译方法及系统

本发明公开了一种基于多模态融合的智能手语翻译方法及系统，涉及无障碍人机交互技术领域，该方法包括：S1、四模态同步时序采集，S2、数据预处理与遮挡置信度分级修复，S3、跨模态特征提取，S4、时序分段窗口长度自适应调整，S5、多模态文本翻译。本发明逐帧遮挡置信度分级匹配插值修复，自适应补偿手部、面部模态遮挡缺失的特征，有效克服物体遮挡、口罩遮脸等复杂场景下关键点丢失的问题，同时基于手部骨骼运动梯度动态调整时序分段窗口长度，兼顾实时推理速度与完整手语词素的时序完整性，并对碎片化切片特征执行词素重排序聚合，解决固定窗口切割带来的词素碎片化难题。