Back to Search
Dossier
多模态大模型模态缺失数据补全方法
InventionActive
10Claims · 3 independent
§ Ⅰ
Dossier Overview
Applicant
众数(厦门)信息科技有限公司
Inventor
周秋明; 周浩; 汪中; 姚锋; 吴炳坤
IPC Classification
G06F 18/15 (2023.01)G06F 18/21 (2023.01)G06F 18/25 (2023.01)G06N 3/045 (2023.01)G06N 3/0475 (2023.01)
本发明提供多模态大模型模态缺失数据补全方法,涉及数据处理技术领域,所述方法包括:步骤1,对多模态输入数据进行缺失值检测与编码处理,分析数据内部特征之间的关联,通过特征重组生成结构化特征表示,并结合局部特征之间的相关性生成特征校准参数,得到各模态的数值型特征向量和掩码矩阵;步骤2,将数值型特征向量和掩码矩阵输入特征融合模型,并对模态内与模态间的上下文依赖关系进行分析,通过计算特征分布椭圆的主轴参数,对椭圆特征进行旋转校正,生成初步校正的融合特征表示。本发明通过特征分布椭圆校正与全局上下文检索,提升多模态缺失数据补全的准确性与智能性。
External Resources