검색으로 돌아가기
기록
一种基于可配置规则引擎的异构数据自动化清洗方法及系统
발명유효
1조회수
10청구항 · 2 독립항
§ Ⅰ
개요
발명자
王龙; 徐弘毅; 苏来
IPC 분류
G06F 16/215 (2019.01)G06F 16/2455 (2019.01)
本发明涉及数据清洗技术领域,具体涉及一种基于可配置规则引擎的异构数据自动化清洗方法及系统。其方法包括:获取异构数据源,将数据模式与实例统一转换为多维异构事实图,当检测到写操作冲突时根据数据源的权威度与规则的优先级为每条冲突规则计算执行权重,利用连通分量与节点的介数中心性分割数据分区,形成与各数据分区相对应的规则子集,创建隔离的Drools会话实例以进行并行清洗,并行清洗过程中生成溯源日志,所有数据分区清洗完成后聚合溯源日志,重新评估并更新每个数据源的权威度,用于解决下一清洗周期的规则冲突。即本发明的方案能够精准处理写入冲突,提高并行清洗的安全性及缩短处理周期,形成持续优化的处理闭环。