一种数据集成处理方法和装置

本发明公开了一种数据集成处理方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：根据有关数据集成的配置信息生成目标任务，加载与配置信息对应的插件；确定目标任务的任务类型，通过插件中预先针对任务类型配置的执行方式，依据数据源信息和数据文件信息中的一种或多种，执行数据集成操作；响应于执行结果为成功，确定目标任务所处环节，在环节为最后一个环节的情况下，确定数据集成完成；在环节不为最后一个环节的情况下，根据配置信息生成下一个任务并执行。该实施方式跳过了文件格式的匹配流程，通过一个事件驱动的框架，将源数据文件的探测、切分、同步连接起来，并提供了失败重试策略，进一步增强了系统的健壮性和可扩展性。