一种面向终端设备的大模型动态加载推理方法及系统

本发明涉及模型推理技术领域，公开了一种面向终端设备的大模型动态加载推理方法及系统，包括：离线规划阶段：执行异构设备特征分析，以评估目标设备的计算性能和I/O带宽，并收集模型权重信息；基于所述特征分析，通过自适应调度算法计算出最优切分策略，所述最优切分策略表示为元组（k,w），其中，k表示永久保存在内存中的常驻解码器层数量，w表示动态加载层的滑动窗口大小；在线推理阶段：基于所述最优切分策略，采用分层权重编排机制，通过零拷贝I/O‑计算并行技术动态加载和释放大语言模型的权重，进行推理。