검색으로 돌아가기
기록

基于循环神经网络的键值缓存管理方法及系统

발명알 수 없음
10청구항 · 4 독립항
§ Ⅰ

개요

발명자

李诚; 刘杰雄; 陈逸轩

출원일

Jul 30, 2026

공개일

Oct 27, 2026

IPC 분류

G06F 9/50 (2006.01)G06N 3/044 (2023.01)G06N 3/0442 (2023.01)G06N 3/045 (2023.01)G06N 3/08 (2023.01)G06N 5/01 (2023.01)

本申请涉及一种基于循环神经网络的键值缓存管理方法及系统,其包括构建基于循环神经网络的访问模式预测器,根据大语言模型推理过程中KV缓存块的历史访问状态序列预测各缓存块在未来窗口内的访问概率;基于所述访问概率执行新生成缓存块的准入决策,将其分配至GPU显存或CPU内存;当GPU显存容量超限时,根据预测访问概率从低到高选取淘汰对象并迁移至CPU内存;根据被淘汰时的概率分数通过单调保留时长映射函数确定各块在CPU内存中的差异化保留步数,超期则释放;在推理服务运行过程中持续采集访问轨迹数据,对预测器进行在线增量更新。

로그인하고 전문 읽기

청구항 1을 표시했습니다. 무료 가입하면 전체 10개 청구항, 명세서 전문, 전체 도면, 번역, 법적 상태를 볼 수 있습니다.

  • 전체 청구항
  • 기술 분야
  • 배경 기술
  • 발명의 내용
  • 도면 설명
  • 발명의 실시 형태