一种基于大模型实现的推理性能优化方法及系统

本发明涉及大模型推理技术领域，具体为一种基于大模型实现的推理性能优化方法及系统，包括以下步骤：初始化推理性能优化智能体；实时采集硬件环境指标，包括显存利用率、CPU交换数、剩余显卡资源、存储IOPS及网络吞吐量；有益效果为：通过对业务系统中各模型的相关统计指标进行全面采集和分析，包括模型类型、模型权重文件总体积、模型平均序列长度、模型输出的每秒token数、模型的首次token时间、模型占用的显卡清单、KVcache块的大小、KVcache的滑动窗口大小等，实现了对系统性能的全面评估，克服了现有技术中性能评估不全面、缺乏对内存占用、网络带宽等关键指标的实时监测机制的不足。