一种大语言模型的上下文压缩、候选词生成方法及装置

本申请提供一种大语言模型的上下文压缩、候选词生成方法及装置。根据本申请的一个示例，该方法可以包括：对上下文文本进行分词处理，获得原始向量；对原始向量进行压缩处理，生成压缩向量；基于最新的提问文本、原始向量与压缩向量中的至少部分，计算向量相似度；在基于向量相似度确定未满足压缩终止条件的情况下，将压缩向量作为新的原始向量，重复进行压缩处理；在基于向量相似度确定满足压缩终止条件的情况下，获得目标压缩向量。