基于多模态AI的盲人全场景感知交互方法及系统

基于多模态AI的盲人全场景感知交互方法，包括：在使用者移动过程中，获取第一方向的第一视频，并且基于使用者的选择获取第二方向的第二视频；使用预先训练好的交通信号解析模型在本地对第一视频和第二视频进行解析得到交通信号信息，并且将交通信号信息转化为交通信号音频；将第一视频和第二视频上传至云端利用预先训练好的复杂环境解析模型对第一视频和第二视频进行解析得到复杂环境信息，并且将复杂环境信息转化为复杂环境音频；实时采集使用者的位置数据并且上传至车联网中生成风险预警信息，并且将风险预警信息转化为风险预警音频。本发明能够充分保证使用者在移动过程中的安全性，并且有效保证使用者的尊严不受侵害。