返回搜索
档案
一种增量数据采集与同步方法、系统、设备及介质
发明专利有效
1浏览
10权利要求 · 4 独立
§ Ⅰ
卷宗概要
发明人
刘恩胜; 李军; 马良; 李钦格
IPC 分类
G06F 16/27 (2019.01)G06F 16/23 (2019.01)G06F 16/242 (2019.01)G06F 16/2455 (2019.01)G06F 16/25 (2019.01)G06F 16/22 (2019.01)G06F 9/54 (2006.01)
本发明提供了一种增量数据采集与同步方法、系统、设备及介质,属于数据库同步技术领域。方法包括:建立源库与目的库映射,确定目标表,定义增量字段、主键及查询规则;全量采集数据至目的库,获取各增量字段初始最大值作为初始增量点并存入文件;读取历史增量点,按字段类型和规则生成查询条件,组合成含逻辑或的查询语句,采集增量数据;序列化增量数据并通过消息中间件转发、入库组件接收解析,提取字段值和主键;根据主键判断执行数据插入或更新;更新各增量字段当前最大值为新增量点至文件,并覆盖历史值。本发明基于多字段增量方式进行增量数据的识别和采集,将每日新增的数据和修改的数据实时的同步到目的库,保证了数据采集的准确性。