검색으로 돌아가기
기록
一种多级缓存访问方法、系统、设备及存储介质
발명유효
10청구항 · 4 독립항
§ Ⅰ
개요
발명자
蒋德; 杨青相; 李浩然; 唐守旭; 田立民; 徐以撒; 刘涛
IPC 분류
G06F 12/0811 (2016.01)G06F 9/50 (2006.01)G06N 5/04 (2023.01)
本发明实施例提出一种多级缓存访问方法、系统、设备及存储介质,涉及数据缓存访问技术领域,方法包括:获取用户审核请求中的关键字段,并转换为特征向量;在第一预设缓存中查找是否存在所述特征向量对应的推理结果;若命中则将推理结果返回给用户;若未命中,则在第二预设缓存中找到对应的语义分区,并从中确定出相似度最高的历史缓存向量和对应的推理结果;根据所述特征向量、历史缓存向量以及与所述历史缓存向量对应的推理结果,确定出所述特征向量对应的推理结果。如此通过构建基于特征向量的两级缓存机制,结合语义分区找到对应的推理结果,提升缓存命中率,减少大模型重复推理,降低响应延迟,从而满足缓存数据推理的高冗余、高实时性需求。