CNIPA.AI
Back to Search
Dossier

多模态大模型模态缺失数据补全方法

InventionActive
10Claims · 3 independent
§ Ⅰ

Dossier Overview

Inventor

周秋明; 周浩; 汪中; 姚锋; 吴炳坤

IPC Classification

G06F 18/15 (2023.01)G06F 18/21 (2023.01)G06F 18/25 (2023.01)G06N 3/045 (2023.01)G06N 3/0475 (2023.01)

本发明提供多模态大模型模态缺失数据补全方法,涉及数据处理技术领域,所述方法包括:步骤1,对多模态输入数据进行缺失值检测与编码处理,分析数据内部特征之间的关联,通过特征重组生成结构化特征表示,并结合局部特征之间的相关性生成特征校准参数,得到各模态的数值型特征向量和掩码矩阵;步骤2,将数值型特征向量和掩码矩阵输入特征融合模型,并对模态内与模态间的上下文依赖关系进行分析,通过计算特征分布椭圆的主轴参数,对椭圆特征进行旋转校正,生成初步校正的融合特征表示。本发明通过特征分布椭圆校正与全局上下文检索,提升多模态缺失数据补全的准确性与智能性。

External Resources