№ CN121396401A発明
有効边缘算力AI部署配置方法、系统及电子设备
本申请涉及一种边缘算力AI部署配置方法、系统和电子设备,将初始化后并完成环境配置的边缘算力节点纳管至K8S集群,依据用户需求,在K8S集群内为待部署AI匹配对应算力节点,解析用户需求,生成节点端配置参数,结合待部署AI模型文件与生成的配置参数,通过Triton服务完成动态加载,为待部署AI模型部署POD和访问入口,生成AI架构模型,完成部署。通过高效算力统筹等技术,实现四大效果:提升GPU利用率,降低使用门槛;依托多节点架构实现容灾,保障服务连续;提升推理性能,无需额外学习成本;提升部署泛化能力,兼容多模型与框架。
❖云宙时代科技有限公司孟尔凡; 马跃睿; 栾亚建; 李子为; 瞿智豪; 潘俊斌; 毋涛; 龙垄§ 3/10 請求項H04L 1/22 (2006.01), H04L 41/0803 (2022.01), H04L 41/14 (2022.01) +514