Back to Search
Dossier
一种基于结构化的全流程数据治理方法、系统和介质
InventionActive
10Claims · 4 independent
§ Ⅰ
Dossier Overview
Applicant
北方健康医疗大数据科技有限公司
Inventor
朱耿其; 武佳乐; 江石义
IPC Classification
G06F 16/22 (2019.01)G06F 16/215 (2019.01)G06F 16/245 (2019.01)G06F 16/25 (2019.01)G06F 16/28 (2019.01)
本发明属于数据治理全流程领域,具体公开了一种基于结构化的全流程数据治理方法、系统和介质,其以结构化配置文件为核心,通过结构化配置标准Excel表模型、环境参数配置、映射规则等,通过解析结构化配置,结合任务调度和ETL脚本完成结构数据的抽取、转换、加载,通过映射规则产生的双层映射建立起完整的血缘追溯链接,映射规则与ETL结合组装出完整的ETL‑SQL的INSET‑SELECT的语句,用于对数据库中数据进行清洗和流转。通过任务调度策略实现数据治理的全流程自动化,通过质控和任务调度中的多层级重试机制加强数据治理全流程自动化的稳定性,通过同步策略实现对更改结构化配置后实时同步的功能。
External Resources