CNIPA.AI
返回搜索
档案

一种多模态大模型训练数据采集方法及系统

发明专利有效
3浏览
10权利要求 · 2 独立
§ Ⅰ

卷宗概要

发明人

刘永生; 汪洋; 马超

IPC 分类

G06F 18/10 (2023.01)G06F 18/213 (2023.01)G06F 18/214 (2023.01)G06F 18/25 (2023.01)G06N 3/045 (2023.01)G06N 3/0464 (2023.01)G06N 3/084 (2023.01)G06N 10/60 (2022.01)G06N 7/08 (2006.01)

本发明公开了一种多模态大模型训练数据采集方法及系统,涉及数据采集优化技术领域,包括,基于清洗对齐数据集构建因果图邻接矩阵,识别偏见变量后进行反事实干预,生成反事实样本集,将反事实样本集与清洗对齐数据集合并为增强数据集;对增强数据集进行跨模态对抗长尾补偿,得到平衡数据集;基于平衡数据集中的图像数据和文本数据,分别进行深度可分离卷积特征提取和BERT语义编码,并进行跨模态融合,输出融合特征;通过深度可分离卷积、BERT编码、量子潜变量演化与跨模态语义验证步骤,显著提升了多模态大模型在复杂、真实场景下的泛化能力、鲁棒性与社会适应性。