大模型管理软硬件一体化装置及管理方法

本申请提供了一种大模型管理软硬件一体化装置及管理方法，包括：异构计算单元，集成多种架构的算力处理器及存储设备；框架调度单元，部署于所述异构计算单元之上，基于其物理资源动态分配算力并适配AI框架；模型全周期管理单元，直接调用框架调度单元的执行能力，完成模型训练、参数存储及推理服务封装；应用构建单元，通过标准化接口连接模型全周期管理单元的推理服务，提供知识增强、智能体协作及应用编排能力；优化决策单元，实时采集异构计算单元与模型全周期管理单元的运行数据，动态生成资源配置策略并反馈至框架调度单元形成闭环控制。