一种基于Hive的解析数据质量评估方法及系统

本申请涉及数据质量评估技术领域，特别涉及一种基于Hive的解析数据质量评估方法及系统，所述方法包括：从Hive库中高效提取本次评估的待分析数据，Hive库兼容多协议、多运营商的数据；加载预置规则库中的通用规则，同时获取用户输入的自定义规则，基于所有通用规则和所有自定义规则生成本次评估的规则库；对本次评估的待分析数据进行分布式聚合计算，并结合本次评估的规则库进行数据质量评估，得到本次评估的评估结果；对本次评估的评估结果进行可视化展示，基于三级权限模型确定不同用户的访问权限，只允许用户进行权限内的访问；最后基于本次评估的全流程生成支持快速定位的评估日志。该方法有效提升了数据质量评估的效率、扩展性、灵活性和交互性。