一种基于多模态大模型的场景知识图谱构建方法及系统

本发明公开一种基于多模态大模型的场景知识图谱构建方法及系统，基于视觉图像大模型对图像的描述能力，对数据集中的图像生成稠密的区域描述；利用文本解析模型从这些区域描述中提取关系三元组用以判断前景关系，并为具有前景关系的物体对赋予数据集中其类别间所有谓词当作候选伪标签；并设计动态伪标签选择策略，在训练过程中挑选这些伪标签，调整模型训练过程中的样本数据分布；基于首次训练的基准模型推理输出的标签，以自我验证机制生成最终的伪标签，解决了大规模场景图生成数据集中因部分缺失标签以及粗粒度标签造成的长尾分布问题，平衡样本分布以达到训练更实用的场景图生成模型，以更实用的场景图生成模型对图像数据构建场景知识图谱。