一种基于分布式计算架构的高效大数据处理系统

本发明公开了一种基于分布式计算架构的高效大数据处理系统，涉及分布式计算与大数据处理技术领域，该系统包括以下组成部分：时空特征提取模块、时空预测引擎、资源预调度中心、时空感知路由模块以及流批协同处理引擎；本发明通过资源预调度中心，利用时空敏感度加权调度模型和缓存池动态调整单元，提前且精准地分配计算、存储及带宽资源，具体地，算力预分配单元根据区域的空间敏感度、时间敏感度及数据增长率动态调整算力分配，有效避免了资源浪费，并确保了高敏感度区域在高峰时段的资源充足，从而显著提升了整体资源利用率，同时，缓存池动态调整单元通过融合预测数据量、节点负载与区域关联性，实现缓存资源的精准分配。