大规模中文图文数据的构建方法及装置、系统、存储介质

本申请实施例提供一种大规模中文图文数据的构建方法及装置、系统、存储介质，涉及图文数据集构建技术领域。通过对原始图文对进行语言筛选和基础文本长度筛选，对候选图文对中的文本进行信息熵计算及语法完整性过滤，对精炼图文对中的图像进行保真度过滤、像素熵计算及感知聚类去重，并对多样化图文对中的图像与文本计算跨模态相似度距离并保留位于预设区间内的图文对，获得目标数据集。上述步骤相互配合，实现了从海量互联网数据中高效筛选出高质量大规模中文图文数据的技术效果，能够改善视觉语言预训练模型的训练效果。