検索に戻る
案件記録

一种离线数据同步分析方法、装置及电子设备

発明有効
10請求項 · 4 独立
§ Ⅰ

案件概要

発明者

左骏; 汤宁祥; 王春明; 杨忠伟; 张冲

IPC分類

G06F 11/07 (2006.01)G06F 11/30 (2006.01)G06F 11/32 (2006.01)G06F 11/1474 (2026.01)G06F 16/27 (2019.01)G06F 16/28 (2019.01)G06F 16/25 (2019.01)G06F 9/48 (2006.01)G06N 5/025 (2023.01)

本发明提供了一种离线数据同步分析方法、装置及电子设备,涉及数据处理技术领域,包括:通过StarRocks的CREATE EXTERNAL CATALOG与CREATE EXTERNAL TABLE语法建立与外部数据源的虚拟映射,直接对接异构数据源;在DolphinScheduler中配置定时触发的Broker Load任务,实现全量/增量数据同步;集成StarRocks监控指标,通过Prometheus实时采集内存使用率与查询延迟数据,生成动态监控指标;设置内存阈值告警规则,当阈值超限时自动暂停同步任务并触发告警通知。本发明,基于动态Schema解析与计算下推技术,将查询条件下推至源端执行,减少了数据传输量并提升同步效率。

外部リソース