面向有状态大模型智能体的历史信息处理方法及相关设备

本发明公开了一种面向有状态大模型智能体的历史信息处理方法及相关设备，首先，获取智能体交互中的多条历史信息，用语义压缩模型处理，得到每条信息的语义表征；再按时间顺序拼接这些表征，并在末尾附加当前输入问题，构建模型输入序列。接着，将该序列输入智能体，提取注意力权重矩阵，计算当前问题与各语义表征的相关性，据此排序并选取预设数量的语义表征作为目标，检索对应原始信息形成核心历史信息集合，与当前问题一同输入智能体推理。推理时，智能体按序生成内容，对每生成词元提取推理特征向量，计算相邻词元向量相似度。若高于阈值，则在目标位置对后一词元执行注意力计算，简化其他位置计算；若不高于，则执行全量计算，直至完成所有生成词元的推理，以解决现有系统存储计算负担大等问题。