数据处理方法、装置、电子设备、存储介质及程序产品

本申请提供的一种数据处理方法、装置、电子设备、存储介质及程序产品，涉及大数据技术领域。该方法包括将待处理数据存储至缓存队列中，缓存队列用于解耦数据生产与消费；通过异步处理模块监控缓存队列的状态，并根据预设的触发条件启动数据写入操作，触发条件包括缓存队列中数据量达到预设阈值或经过预设时间间隔；执行批量写入操作，将缓存队列中的数据一次性写入持久化存储设备。通过将日志数据暂存于内存队列中，解耦生产与消费；启动后台线程监控队列状态，触发批量写入，满足触发条件后将缓存队列中的数据写入存储设备中，通过批量写入操作提升系统吞吐量，并降低数据处理延迟。