CNIPA.AI
검색으로 돌아가기
기록

一种离线数据同步分析方法、装置及电子设备

발명유효
1조회수
10청구항 · 4 독립항
§ Ⅰ

개요

발명자

左骏; 汤宁祥; 王春明; 杨忠伟; 张冲

IPC 분류

G06F 11/07 (2006.01)G06F 11/30 (2006.01)G06F 11/32 (2006.01)G06F 11/1474 (2026.01)G06F 16/27 (2019.01)G06F 16/28 (2019.01)G06F 16/25 (2019.01)G06F 9/48 (2006.01)G06N 5/025 (2023.01)

本发明提供了一种离线数据同步分析方法、装置及电子设备,涉及数据处理技术领域,包括:通过StarRocks的CREATE EXTERNAL CATALOG与CREATE EXTERNAL TABLE语法建立与外部数据源的虚拟映射,直接对接异构数据源;在DolphinScheduler中配置定时触发的Broker Load任务,实现全量/增量数据同步;集成StarRocks监控指标,通过Prometheus实时采集内存使用率与查询延迟数据,生成动态监控指标;设置内存阈值告警规则,当阈值超限时自动暂停同步任务并触发告警通知。本发明,基于动态Schema解析与计算下推技术,将查询条件下推至源端执行,减少了数据传输量并提升同步效率。