검색으로 돌아가기
기록
流批一体数据更新方法、装置、设备、存储介质和产品
발명유효
10청구항 · 5 독립항
§ Ⅰ
개요
발명자
杨斐涵; 郑文斌; 范桢; 李虎; 铁锦程
IPC 분류
G06F 16/23 (2019.01)G06F 16/25 (2019.01)
本申请涉及一种流批一体数据更新方法、装置、设备、存储介质和产品。该方法包括:获取实时数据,并将实时数据写入实时表中,实时表中包括第一时间属性字段,第一时间属性字段用于记录实时数据的写入时间;从数据源获取离线数据,并对离线数据进行抽取、转换和加载处理,得到目标格式的离线数据;对目标格式的离线数据添加第二时间属性字段,第二时间属性字段用于记录离线数据的生成时间;根据实时数据的写入时间和离线数据的生成时间,确定是否对实时表中的数据进行更新。从而可以通过实时数据和离线数据对应的时间来明确是否需要对实时表中的数据进行更新,确保实时表中数据的及时性和准确性,实现离线数据和实时数据的流批一体。