検索に戻る
案件記録

一种AI模型智能训练与推理一体化方法及系统

発明有効
5閲覧数
10請求項 · 4 独立
§ Ⅰ

案件概要

発明者

奚新明; 彭建川

IPC分類

G06N 5/04 (2023.01)G06N 3/0495 (2023.01)G06N 3/08 (2023.01)G06N 3/096 (2023.01)G06F 9/50 (2006.01)G06N 3/0464 (2023.01)G06F 9/48 (2006.01)

本申请提供一种AI模型智能训练与推理一体化方法及系统,方法包括如下步骤:接收模型训练指令,对原始数据进行预处理得到训练数据集;基于训练数据集执行模型训练,并通过动态资源调度算法监测任务优先级和资源需求,依据实时监测结果动态调整训练资源分配;当模型达到预设性能指标时,执行模型剪枝和量化以生成优化模型,并对优化模型进行参数微调得到最终部署模型;根据最终部署模型的计算特性生成推理服务配置,将模型与配置迁移至推理环境并启动推理服务;依据推理服务的实时网络流量动态调整推理节点数量。实施本申请提供的技术方案,通过双向动态资源调度与模型深度优化,提升了计算资源利用率与模型部署效率,保障了推理服务的高可用性。

外部リソース