分布式数据批处理方法及系统

本发明属于数据处理技术领域，具体为分布式数据批处理方法及系统。包括接收日终数据批处理请求，将对应批次的日终数据存放至任务池中；并行设置多个应用微服务POD；利用多个应用微服务POD并行处理任务池中多个批次的日终数据，每一个应用微服务POD执行各自被分配批次的日终数据；当存在空闲的应用微服务POD时，从任务池中取出一个批次的日终数据进行异步分配，直至任务池为空，完成批量数据的分布式处理。本发明整体采用总‑分‑总数据处理形式进行日终数据批处理，借助微服务、分布式数据库等新技术，充分利用业务系统微服务集群、数据库集群的资源，并发执行日终批处理任务，以解决日终批处理效率问题。