검색으로 돌아가기
기록
一种分页管理的系统、方法、电子设备及存储介质
발명알 수 없음
7조회수
10청구항 · 4 독립항
§ Ⅰ
개요
IPC 분류
G06F 9/50 (2006.01)G06N 3/045 (2023.01)G06N 5/04 (2023.01)G06F 12/1009 (2016.01)G06F 12/12 (2016.01)G06N 3/063 (2023.01)G06F 12/0862 (2016.01)G06F 12/0897 (2016.01)
本申请提供了一种分页管理的系统、方法、电子设备及存储介质,包括:包括主控MCU和FPGA硬件电路;所述主控MCU用于在推理任务启动时向FPGA硬件电路下发配置参数与启动指令,并在推理结束时接收中断信号后下发释放指令;所述FPGA硬件电路用于接收配置参数与启动指令,独立接管KV‑Cache的硬件管理,响应推理过程中产生的KV数据访问请求,执行基于物理页面的分页映射与存取调度,在推理任务完成时输出中断信号,以及响应所述释放指令向外部DDR存储输出脏页写回请求与数据。本申请通过FPGA硬件逻辑替代软件完成KV‑Cache的页表查找与内存调度,有效降低了系统访问延迟,消除了内存碎片,并显著提升了多序列并发场景下的存储利用率与处理效率。