流量日志数据分析方法、装置及电子设备

本发明提供了一种流量日志数据分析方法、装置及电子设备，涉及大数据分析与处理技术领域，通过多线程并行上传与分布式文件系统协同，突破单机存储限制实现横向扩展，解决传统系统可扩展性差、高频IO吞吐量低的问题；结合数据仓库分层处理与分布式执行引擎并行计算，将PB级日志分析延迟从小时级压缩至分钟级或秒级，解决旧有方法效率骤降的痛点；同时分布式架构实现资源按需分配，避免存储与计算资源随数据量线性增长，缓解硬件成本激增压力。