검색으로 돌아가기
기록
多模态大模型低资源模态自适应学习方法
발명유효
10청구항 · 3 독립항
§ Ⅰ
개요
발명자
姚锋; 王筝; 吴炳坤; 黄世勇; 周浩
IPC 분류
G06F 11/30 (2006.01)G06F 8/34 (2018.01)G06F 8/36 (2018.01)G06F 9/50 (2006.01)G06F 11/32 (2006.01)G06F 11/34 (2006.01)
本发明提供多模态大模型低资源模态自适应学习方法,涉及数据处理技术领域,所述方法包括:基于凹凸性标识结果将基准拓扑单元中的多边形划分为凸性区域和凹性区域,并对基准拓扑单元进行分割生成多尺度拓扑分区,将低资源模态数据流映射至多尺度拓扑分区的对应域并提取多分辨率结构特征;基于多尺度拓扑分区中的每个多边形计算几何特征参数,将多分辨率结构特征与高资源模态数据流进行匹配,生成异构特征拓扑;将异构特征拓扑进行优化操作,得到深度优化的模型参数配置;对深度优化的模型参数配置进行验证,调整模型超参数集合,得到低资源模态自适应多模态大模型。本发明有效提升多模态大模型对低资源模态的特征提取精度与自适应适配能力。