一种基于媒介注意力机制的多模态水尺读数方法及系统

本发明提供一种基于媒介注意力机制的多模态水尺读数方法及系统，涉及水尺读数技术领域。所述方法包括：采集水尺区域的RGB图像和高光谱图像，并进行标注得到数据标签；设计语言指导文本，将同一角度采集的RGB图像、高光谱图像、语言指导文本和数据标签作为一个数据样本，划分训练集和测试集；对输入的RGB图像、高光谱图像和语言指导文本进行向量化处理，得到输入表征；设计媒介注意力模块提取多模态特征，设计多态特征映射单元对多模态特征进行进一步非线性变换和表示增强，设计多态协同感知模块对多模态特征进行进一步融合；构建通用多态专家网络，对多模态融合特征进行提取，得到水尺读数输出结果。本发明可提高水尺读数的精确性。