杭州比特云网络科技有限公司

本发明涉及大模型推理服务技术领域，尤其是基于多层叠加文件系统的大语言模型热管理方法及系统，所述方法包括如下步骤：获取大语言模型的版本权重增量，获得版本距离矩阵以构建模型层级指纹序列；确定所述大语言模型的层间配置关系，生成多层叠加文件系统；计算所述大语言模型的热迁移势能，计算最优挂载状态向量以建立动态挂载调度策略；获得显存状态参数和判定条件，对所述大语言模型进行决策协同调度得到资源协同状态；通过所述资源协同状态提取所述大语言模型的驻留特征和层间关联特征，以执行自适应运行调整得到模型热管理状态。本发明有效降低存储冗余和模型切换延迟，优化显存利用率，实现大语言模型推理的多版本热管理。