一种面向大数据的数据清洗整合系统

本发明属于数据清洗整合技术领域，本发明公开了一种面向大数据的数据清洗整合系统，包括：采集参与数据清洗整合的节点任务数据，对其进行预处理，并构建图数据；使用图卷积网络构建综合评估模型，输入图数据至训练完成的综合评估模型中，评估数据清洗和整合过程中的任务分配情况，输出综合评估系数；根据综合评估系数，生成任务分配状态信号，调整任务分配策略；用于评估任务分配策略调整后的有效性，并进行二次优化，不仅解决了现有数据处理系统中存在的资源分配不均、任务调度不合理等问题，还提升了资源利用效率、适应能力和数据处理速度，为大数据时代的高效数据处理提供了支持。