PySpark大数据任务管理方法、系统及存储介质

本发明提出了一种PySpark大数据任务管理方法、系统及存储介质，其中PySpark大数据任务管理方法，首先接收用户提交的PySpark任务代码；然后解析运行环境依赖信息，生成结构化的环境清单；接着根据环境清单，检查镜像仓库中是否存在对应的缓存镜像；当不存在缓存镜像时，构建动态镜像；在调度执行PySpark任务时，从镜像仓库调取对应的任务专属容器镜像，并基于任务专属容器镜像创建容器作为PySpark任务运行时的环境；在执行PySpark任务的过程中，实时捕获运行日志，并将运行日志流式传输至大数据开发平台进行集中存储、索引和展示；以此通过声明式环境构建、智能资源调度和全链路日志整合，可以有效提升环境管理效率、优化资源利用率和改善运维调试体验。