一种用于大模型长上下文推理的算法方法

本发明公开了一种用于大模型长上下文推理的算法方法，涉及大语言模型技术领域，包括以下步骤：将输入的长文本序列划分为多个初始文本块；基于初始文本块生成语义摘要，并对语义摘要进行聚类分析，将语义相近的初始文本块合并为语义超块，形成具有语义代表性的上下文组织结构；在大模型预处理阶段生成各token的键值缓存数据，以语义超块为逻辑边界对键值缓存数据进行分组，建立记录各语义超块存储位置与状态的映射表；基于语义超块，结合语义超块的语义代表向量，计算查询向量与各语义超块之间的相关性评分，块重要性预测模型基于上下文依赖特征进行学习，为后续注意力筛选提供高阶语义先验，避免因位置偏移导致的关键信息遗漏。