CNIPA.AI
검색으로 돌아가기
기록

一种基于Flink实现实时数据流的动态构图的方法及装置

발명유효
10청구항 · 2 독립항
§ Ⅰ

개요

발명자

黄龙飞; 李响; 杨晨; 要树立; 周锋; 王柏轩

IPC 분류

G06F 16/215 (2019.01)G06F 16/25 (2019.01)G06F 16/23 (2019.01)G06F 16/901 (2019.01)

本发明公开了一种基于Flink实现实时数据流的动态构图的方法及装置,方法包括实时数据流获取与清洗;通过Flink流处理实时数据流;过滤无效数据,对数据进行标准化处理;动态点边切分与Schema定义;基于Flink程序入参中的数据实体与属性映射,将数据流中的属性字段绑定为点或边的属性;实时动态构图与状态管理;对延迟数据缓存,待延迟数据到达后与主流水合并处理;异常数据处理与监控;对清洗阶段过滤的异常数据输出并触发告警;数据备份与生命周期管理;将实时处理后的点边数据同步存储,并自动清理过期数据。解决传统技术中数据处理时延高、图模型扩展性差、异常处理能力弱及数据备份效率低的问题,实现图谱的实时、灵活、可靠构建。