用于大模型推理的权重预取方法及电子设备

本申请适用于人工智能技术领域，提供了一种用于大模型推理的权重预取方法及电子设备，包括：获取当前时刻下的信号感知信息；信号感知信息包括温度信息、SLC缓存水位信息、I/O队列监测信息、带宽信息，温度信息表征闪存控制器的控制器温度和NAND闪存颗粒的封装温度，SLC缓存水位信息表征SLC缓存使用的水位，I/O队列监测信息表征NVMe提交队列和完成队列的深度，带宽信息表征带宽的变化情况；根据信号感知信息，确定存储设备在当前时刻下的状态信息；根据存储设备在当前时刻下的状态信息，确定预取窗口的目标尺寸信息；预取窗口用于在大模型推理时控制预取的模型权重的数量；根据预取窗口的目标尺寸信息，从NAND闪存颗粒中获取模型权重至预设的高速缓存区。