CNIPA.AI
Back to Search
Dossier

图文数据中的文本语义增强方法、装置、设备和介质

InventionActive
10Claims · 5 independent
§ Ⅰ

Dossier Overview

Applicant

中国移动通信集团浙江有限公司; 中国移动(浙江)创新研究院有限公司; 中国移动通信集团有限公司; 中国移动通信有限公司

Inventor

刘梦迪; 余立; 丛鹏宇; 严昱超; 陈建忠; 金炜众; 陈其博; 厉舒畅; 葛建跃; 郭轩江

IPC Classification

G06V 30/413 (2022.01)G06V 30/19 (2022.01)G06F 40/186 (2020.01)G06N 3/0442 (2023.01)G06N 3/08 (2023.01)

本发明提供一种图文数据中的文本语义增强方法、装置、设备和介质,该方法包括:将待处理图文数据中携带的原始文本标签与预设提示词模板结合,得到合成文本;待处理图文数据包括原始图像和原始文本标签;将合成文本输入至预训练的大语言模型,得到第一增强文本标签集合;将第一增强文本标签集合和原始图像输入至多个专家模型中的每一个专家模型,得到每一个专家模型输出的特征相似度集合;根据特征相似度的大小,从全部专家模型输出的第一增强文本标签中筛选最优语义增强文本。本申请利用多个专家模型对增强后的文本进行筛选,确保增强后的文本语义与原始图像高度匹配,避免语义歧义,提高文本描述的丰富性,且能够实现与图像信息的一致性匹配。

External Resources