검색으로 돌아가기
기록
数据处理任务的调度方法及装置、电子设备、存储介质
발명알 수 없음
3조회수
10청구항 · 4 독립항
§ Ⅰ
개요
IPC 분류
G06F 9/48 (2006.01)G06F 16/25 (2019.01)
本发明公开了一种数据处理任务的调度方法及装置、电子设备、存储介质,涉及大数据处理技术领域或其他相关领域,其中,该方法包括:获取数据处理mapping,数据处理mapping是基于数据处理需求对预设模板进行配置后得到的mapping配置文件;基于数据处理mapping生成数据处理脚本,并基于数据处理脚本生成N个数据处理任务,N为正整数;基于N个数据处理任务构建调度流程图,调度流程图是用于记录数据处理任务的执行顺序和依赖关系的有向无环图;将N个数据处理任务和调度流程图上传至批量调度系统,由批量调度系统执行任务调度。本发明解决了相关技术中ETL任务管理规模庞大,手动开发调度任务的效率太低的技术问题。