検索に戻る
案件記録
一种基于信息密度驱动与自适应四叉树划分的压缩方法
発明有効
1閲覧数
8請求項 · 1 独立
§ Ⅰ
案件概要
発明者
金鑫; 魏运涛; 曾文军
IPC分類
G06T 9/40 (2006.01)G06N 3/0455 (2023.01)G06N 5/04 (2023.01)
本发明提供了一种基于信息密度驱动与自适应四叉树划分的压缩方法,包括:步骤S1,获取原始高维视觉令牌集合并筛选得到满足要求的视觉令牌子集合;步骤S2,采用空间自适应的递归式四叉树划分机制,将视觉令牌子集合按照二维空间位置重构为令牌网格并划分出信息丰富区域和低语义密度区域,对信息丰富区域执行细粒度划分与令牌保留策略得到第一压缩令牌序列,对低语义密度区域执行令牌合并与降采样策略得到第二压缩令牌序列;步骤S3,将第一压缩令牌序列、第二压缩令牌序列和文本令牌序列进行拼接得到最终令牌序列,以供输入至多模态大模型中进行跨模态推理。有益效果是本发明能够实现在极低令牌预算下保持多模态泛化的理解性能与空间结构完整性。
外部リソース