CNIPA.AI
검색으로 돌아가기
기록

基于分层注意力的大模型序列推荐方法、装置和终端设备

발명유효
2조회수
10청구항 · 4 독립항
§ Ⅰ

개요

발명자

崔昱; 陈佳伟; 王灿; 赵李君; 陈纯

IPC 분류

G06N 5/04 (2023.01)G06N 3/045 (2023.01)

本申请涉及一种基于分层注意力的大模型序列推荐方法、装置和终端设备,包括:通过序列推荐大语言模型将用户历史交互序列转换为token向量序列;通过序列推荐大语言模型基于包括浅层掩码的物品内注意力机制、包括中层掩码的token级注意力机制和包括深层掩码的物品级注意力机制,将token向量序列转换为目标物品向量序列,浅层掩码屏蔽不同物品的token之间的注意力,中层掩码建模细粒度token级注意力,深层掩码关注不同物品的token之间的注意力;通过序列推荐大语言模型基于目标物品向量序列,生成序列推荐结果。通过本申请,可以提高使用大语言模型进行序列推荐的准确度。