CNIPA.AI
검색으로 돌아가기
기록

基于交叉注意力机制的动态特征检索生成与管理方法

발명유효
1조회수
10청구항 · 1 독립항
§ Ⅰ

개요

발명자

姚锋; 王筝; 黄世勇; 吴炳坤

IPC 분류

G06F 16/3329 (2025.01)G06F 16/334 (2025.01)G06F 16/35 (2025.01)G06F 16/36 (2019.01)G06N 3/0442 (2023.01)G06N 3/045 (2023.01)G06N 3/0455 (2023.01)G06N 3/048 (2023.01)G06N 3/084 (2023.01)G06N 3/092 (2023.01)G06N 3/096 (2023.01)G06N 5/025 (2023.01)

本发明公开了基于交叉注意力机制的动态特征检索生成与管理方法,属于自然语言处理技术领域,包括:步骤1,将知识库文档片段转化为原子知识单元,每个原子知识单元包括问题答案对,编码为键值对,并附加动态优先级权重,步骤2,将自注意力查询替换为双通道查询结构,其中一个通道用于交叉注意力,通过线性变换生成交叉注意力查询向量,使用原子知识单元的键值对;步骤3,训练交叉注意力适配器,冻结语言模型权重,优化适配器参数,使用基于输入序列语境复杂度的预判参数动态调整损失函数。可以实现用户输入与知识片段的深层关联刻画,消解语义歧义,平衡知识注入与语境信息,避免生成失真,满足专业领域对语义精度的严苛要求。