검색으로 돌아가기
기록
一种对图像数据快速生成长文本的多模态大模型及方法
발명유효
1조회수
7청구항 · 3 독립항
§ Ⅰ
개요
발명자
张鹏; 卢一荻; 马鑫典
IPC 분류
G06N 5/04 (2023.01)G06F 40/16 (2020.01)G06N 3/0455 (2023.01)G06F 9/54 (2006.01)
本发明提供一种对图像数据快速成生长文本的多模态大模型及方法,所述多模态大模型包括:数据编码模块、多模态融合模块、动态解码模块和文本输出模块;所述数据编码模块由视觉编码器和文本嵌入层构成;所述动态编码模块包括第一缓存区、第二缓存区;所述第一缓存区在每一个文本序列生成的过程中执行动态缓存驱逐方法,并将低重要性得分的文本令牌释放到第二缓存区;本发明以解决因缓存膨胀导致的内存占用高,生成速度慢的问题,同时保证生成长文本的内容质量,连贯程度,语意相关程度。