基于一致性辅助通道的多模态后融合方法、装置、设备、介质及产品

本申请公开了一种基于一致性辅助通道的多模态后融合方法、装置、设备、介质及产品，涉及人工智能技术领域，该方法首先获取多模态样本；将其输入各模态专家模型并行处理，得到主决策通路的第一预测置信度以及一致性辅助通道旁路含证据摘要、质量评分、不确定性评分的证据包；基于证据摘要确定各模态单模态一致性评分，结合质量评分、不确定性评分确定融合权重，进而加权融合第一预测置信度得到第二预测置信度。还可基于三类评分确定分歧指数，若其大于阈值则获取各模态分歧修正系数，修正第二预测置信度得到第三预测置信度，并输出包含各模态最高概率类别、概率熵、能量分、平均一致性的可信度指标，该方法提升多模态决策的准确性。