一种基于HBF的大模型推理数据访问方法和数据存储系统

本发明涉及大模型推理计算技术领域，具体是涉及一种基于HBF的大模型推理数据访问方法和数据存储系统。本发明将使用频次高和延迟敏感度高的参数值存储在高带宽内存HBM上，而将使用频次低以及延迟敏感度低的参数值存储在高带宽闪存HBF上，并行处理器分别从高带宽内存HBM和高带宽闪存HBF上读取参数值以完成模型推理。高带宽闪存HBF能够分担高带宽内存HBM的存储压力，又由于高带宽闪存HBF具备高并行读出能力和接近高带宽内存HBM形态的数据供给能力，使得高带宽闪存HBF能够将参数值及时地加载回并行处理器，以满足模型推理对参数数据的需求。所以本发明通过高带宽闪存HBF分担高带宽内存HBM的存储压力，能够推升模型推理效率。