一种基于轻量级强化学习的缓存管理方法

本发明提供了一种基于轻量级强化学习的缓存管理方法，该方法将处理系统中每个核心的缓存替换策略选择和预取器配置的联合决策建模为多臂老虎机问题，包括：从奖励估计表和策略计数表中读取多个臂中的每个臂对应的奖励估计值以及被选择次数，用以计算每个臂的潜力值；选择具有最大潜力值的最优臂，更新策略计数表，按照最优臂对应策略组合的要求配置本周期启用的缓存策略、预取器类型和参数；根据收集的性能指标数据计算的本次奖励，更新奖励估计表中最优臂对应的奖励估计值，本次奖励至少根据核心指令周期指标和系统带宽利用率指标确定，本发明首次利用多臂老虎机算法将缓存替换策略选择和预取器配置统一建模为一个RL问题，实现两者的协同优化。