一种基于Spark SQL的多路插入查询优化方法

本发明公开了一种基于Spark SQL的多路插入查询优化方法，属于大数据处理与分布式计算领域，包含：进行SQL规则匹配；识别出是否为Union的多路插入结构；抽取多路插入公共子计划；剥离多路插入各分支的特有逻辑；构建多插入命令，合并多路插入计算与写入逻辑；替换原执行计划结构；本发明共享的CTE基础数据仅需计算一次，节省了大量CPU计算资源；消除了对物化后的CTE结果的多次读取操作，极大地减少了磁盘I/O或网络I/O开销；通过合并计算逻辑，减少了任务调度和执行的总体时间，显著提升了此类ETL作业的整体性能，尤其在大数据量场景下效果更为明显；本发明在Spark SQL优化器层面实现，对用户完全透明，用户无需修改SQL写法即可自动获得性能提升。