검색으로 돌아가기
기록
一种基于多模态数据融合与大语言模型的实体对齐方法
발명유효
3조회수
8청구항 · 1 독립항
§ Ⅰ
개요
발명자
朱蓓蓓; 王铎尊; 段昊龙; 傅博; 徐苗; 宋睿涵
IPC 분류
G06N 5/022 (2023.01)G06N 5/04 (2023.01)G06F 18/25 (2023.01)G06F 40/30 (2020.01)
本发明适用于自然语言处理技术领域,提供了一种基于多模态数据融合与大语言模型的实体对齐方法,包括以下步骤:结构特征提取;文本特征提取;图像特征提取;多模态特征融合;候选实体生成;正负样本筛选;语义推理与最终对齐。该方法设计了一种多模态融合机制,并结合注意力机制以增强多模态特征的表达能力和实体对齐过程的鲁棒性。同时,引入经过微调的大语言模型,用于模拟人类语义推理过程,引导大语言模型在候选实体集合中执行语义匹配与迭代选择,有效提升对复杂语义场景下实体等价关系的判别能力,从而提高实体对齐结果的准确性与泛化性。