一种面向大数据Spark作业的多源异构日志特征融合与根因智能定位方法及系统

本申请公开一种面向大数据Spark作业的多源异构日志特征融合与根因智能定位方法及系统。其中方法从多类集群组件与节点采集Spark作业运行原始日志，经格式归一化、时间戳对齐与结构化解析生成统一日志事件序列；提取多维异构故障特征，经注意力机制动态加权融合并降维生成融合特征表示；构建Spark作业分层执行拓扑与故障传播图，将融合特征映射至传播图各节点，通过迭代传播机制计算根因置信度，定位至具体执行组件或代码行，输出含故障传播路径与置信度评分的根因定位报告。本发明实现跨源日志统一对齐与多维特征融合，可精准定位根因至代码行级别，显著提升Spark作业故障诊断的效率与准确性。