一种面向多模态推理模型的图结构思维链压缩方法

本发明公开了一种面向多模态推理模型的图结构思维链压缩方法及系统。该方法首先获取包含图像、问题、原始长思维链及答案的多模态推理样本，将原始长思维链切分为多个语义完整的推理节点；然后根据推理节点之间的语义依赖、逻辑依赖、计算依赖或跨模态关联构建有向推理图；进一步对推理节点文本及推理图结构进行编码，通过关键节点选择器预测各推理节点作为核心推理依据的概率，并提取由关键节点构成的依据子图；再通过预测器基于依据子图表示和问题表示进行答案预测，以训练关键节点选择器；最后利用训练后的关键节点选择器对待压缩长思维链进行压缩，将保留节点按原始推理顺序重组并进行最小语义衔接，得到压缩思维链及对应监督微调数据。本发明能够在保留关键视觉依据和逻辑关系的基础上减少冗余推理步骤，提高多模态推理模型的训练效率、推理效率和可解释性。