一种基于伪令牌ID的大语言模型密文缓存处理方法、设备和介质
本发明公开一种基于伪令牌 ID 的大语言模型密文缓存处理方法,包括:获取原始文本加密后生成的密文,所述密文为适配大语言模型输入的嵌入向量;通过预设哈希算法对所述嵌入向量进行哈希运算,生成固定格式的伪令牌ID;将所述伪令牌ID作为大语言模型键值缓存的缓存键,关联密文嵌入向量存储至缓存中,实现密文的缓存复用。本发明通过伪令牌ID构建密文与缓存机制的适配桥梁,解决了密文嵌入向量缺乏标准键结构、无法复用缓存的技术痛点,有效减少重复计算开销,降低硬件资源消耗,显著提升加密场景下大语言模型的推理响应速度,适配多轮对话、高频查询等高频交互需求。