用于大语言模型推理的内存热管理方法及系统

本申请提供了一种用于大语言模型推理的内存热管理方法及系统，可以应用于集成电路芯片热管理技术领域。该方法应用于逻辑芯片，逻辑芯片包括神经热控制器，神经热控制器为独立于图形处理单元主执行核心的专用硬件部件，包括：通过神经热控制器的状态聚合接口聚合状态向量；将状态向量作为强化学习策略网络的输入进行前向传播计算，生成一组离散控制动作各自对应的概率分布；根据概率分布从一组离散控制动作中选择目标控制动作；通过硬件中断向内存控制器发出目标控制动作对应的硬件命令，以改变大语言模型工作负载在三维堆叠动态随机存取存储器中的物理执行状态。