大语言模型的部署方法、系统、电子设备及存储介质

本申请涉及一种大语言模型的部署方法、系统、电子设备及存储介质。该方法包括：接收针对至少一个目标大模型的模型部署任务，从多个模型部署节点中选择执行模型部署任务的目标部署节点，目标部署节点上集成有目标推理框架，若检测到本地缓存存在目标大模型所需的模型文件，则将模型文件加载至目标推理框架，若检测到本地缓存不存在目标大模型所需的模型文件，则从分布式存储模块获取模型文件，并将模型文件加载至目标推理框架，在目标部署节点上，启动目标推理框架的推理服务，导入目标大模型，以完成模型部署任务。本申请提供的方案，能够显著提高大语言模型的部署效率和部署效果。