端到端大规模LLM训练模拟器

本发明提供一种端到端大规模LLM训练模拟器，包括：工作量生成模块，用于在大模型LLM运行时，对LLM的训练集群的通信操作进行拦截，生成具有通信依赖关系的工作量数据；工作量仿真执行模块，用于在无网络拥塞时对工作量数据进行算子级仿真，得到算子级仿真结果，当根据算子级仿真结果确定存在网络拥塞时，将算子级仿真切换为流级仿真，生成流级仿真结果对工作量数据进行修正；工作负载确定模块，用于对修正后的工作量数据进行算子级仿真，直至算子级仿真结果收敛，并根据收敛后的算子级仿真结果确定LLM运行时的工作负载。本发明用以解决现有技术中LLM运行模拟进行Workload生成和Workload仿真执行时存在的问题。