Back to Search
Dossier
一种用于大模型长上下文推理的算法方法
InventionActive
10Claims · 3 independent
§ Ⅰ
Dossier Overview
Inventor
陈祥麟; 董建威; 艾智远; 王卓
IPC Classification
G06N 5/04 (2023.01)G06F 40/30 (2020.01)G06F 18/22 (2023.01)G06F 18/231 (2023.01)G06F 16/3331 (2025.01)G06N 3/0455 (2023.01)G06N 3/08 (2023.01)
本发明公开了一种用于大模型长上下文推理的算法方法,涉及大语言模型技术领域,包括以下步骤:将输入的长文本序列划分为多个初始文本块;基于初始文本块生成语义摘要,并对语义摘要进行聚类分析,将语义相近的初始文本块合并为语义超块,形成具有语义代表性的上下文组织结构;在大模型预处理阶段生成各token的键值缓存数据,以语义超块为逻辑边界对键值缓存数据进行分组,建立记录各语义超块存储位置与状态的映射表;基于语义超块,结合语义超块的语义代表向量,计算查询向量与各语义超块之间的相关性评分,块重要性预测模型基于上下文依赖特征进行学习,为后续注意力筛选提供高阶语义先验,避免因位置偏移导致的关键信息遗漏。
Sign in to read the full text
Claim 1 is shown. Create a free account to read all 10 claims, the full description, all drawings, translations and legal status.
- All claims
- Technical field
- Background
- Summary
- Drawing descriptions
- Detailed description
External Resources