一种基于图文相关性动态权重的多模态融合方法、系统及应用

本发明公开了一种基于需求文档图文相关性动态权重的多模态融合方法，包括如下步骤：步骤一、接收需求文档中的图像输入和/或文本输入，进行特征编码；步骤二、结合包括全局语义相关性、局部细粒度相关性以及需求层次相关性中的一种或多种，进行面向需求文档的增强型图文相关性检测；步骤三、根据相关性分数和需求场景类型动态选择一种或多种融合策略，通过基于神经网络的动态权重分配机制自动确定策略权重，实现面向需求理解的自适应多策略融合。本发明还提供了实现上述方法的系统，具有广泛应用场景。