一种自动化增量采集与校验方法、系统及存储介质

本发明提供一种自动化增量采集与校验方法、系统及存储介质，所述方法包括：获取配置清单中的站点入口和国家类别参数，并与日期参数组合生成数据采集任务的幂等任务标识符；分别执行静态请求采集模式和/或动态页面采集模式后获得请求页面的榜单记录数据并封装获得标准化字段；对歌曲名称进行识别分析和版本标签标注并输出多视图字段；将标准化字段和多视图字段存储在目标数据库中对歌曲排名进行连续性检查和修复；基于当日日期参数读取目标数据库中的唯一标识符后存入内存集合并通过事件复杂度进行重复性对比，未重复则批量写入目标数据库通过增量写入避免数据冗余并节省内存占用空间，同时通过批量写入进一步提升整体吞吐能力。