一种流式数据的接入处理方法和系统
本申请涉及一种流式数据的接入处理方法和系统,其中,该方法包括:为流计算引擎的多源异构数据源分配统一的路由特征键,其中,路由特征键用于消解多源异构数据源之间的环境异构;当多源异构数据源的异构日志进入到消息中间件,自动阻断异构日志的反序列化,并提取日志原始字节流;基于路由特征键,加载匹配当前多源异构数据源所关联的管道过滤规则矩阵;基于原始字节流和管道过滤规则矩阵进行分流路由评估,得到异构日志的处理管道。通过本申请,实现了利用统一的路由特征键将多源异构数据源,收敛到统一物理处理空间以消解环境异构性,且在未触发全面反序列化前对海量异构日志执行阻断、过滤与分流复用,大幅豁免无效计算损耗。