一种基于混合输入异构对齐与特征融合的舌象识别方法

本发明公开了一种基于混合输入异构对齐与特征融合的舌象识别方法，包括：对舌象图像进行预处理，得到粗分割舌体掩膜区域；对粗分割舌体掩膜区域进行质量检查；对粗分割舌体掩膜区域进行语义分割，输出语义分割掩膜；提取手工特征向量、深度特征向量和生理指标特征向量；对深度特征向量进行降维；将手工特征向量、降维后的深度特征向量和生理指标特征向量进行关联，形成多模态特征集；将多模态特征集分别训练图像侧基学习器和生理指标侧基学习器，将两侧路径在交叉验证中的预测结果与手工特征向量、降维后的深度特征向量和生理指标特征向量拼接为混合输入向量；将混合输入向量进行分类，输出最终分类结果。本发明提升舌象识别的准确性与鲁棒性。