一种基于声明式资源的大模型推理服务管理系统及方法

本发明属于推理服务管理技术领域，尤其涉及一种基于声明式资源的大模型推理服务管理系统，包括：声明式资源定义模块，其规范中包含模型名称字段、部署模式选择字段、抽象计算资源单位字段；计算资源单位映射表，用于记录不同型号计算设备与所述抽象计算资源单位的换算关系，所述换算关系基于计算设备的显存容量与基准设备显存容量的比值、计算设备的计算性能指标与基准设备计算性能指标的比值。本发明由于采用了抽象计算资源单位，从而使用户摆脱了对硬件具体型号和数量的依赖，实现了真正的声明式部署；由于控制器具备基于映射表进行资源转换和智能决策的能力，从而能够自动、高效地利用集群中的异构计算资源，显著提升了资源利用率。