検索に戻る
案件記録

基于数据画像的数据清洗方法、设备及存储介质

発明有効
9閲覧数
10請求項 · 3 独立
§ Ⅰ

案件概要

IPC分類

G06F 16/215 (2019.01)G06F 18/22 (2023.01)G06F 18/214 (2023.01)G06F 18/24 (2023.01)G06F 40/30 (2020.01)G06N 3/045 (2023.01)G06N 3/08 (2023.01)

本申请公开了一种基于数据画像的数据清洗方法、设备及存储介质,涉及数据处理技术领域。上述方法通过获取待清洗的字段样本,根据字段样本的数据特征确定字段样本的异常分布,并生成异常分布报告;将字段样本和异常分布报告作为初始提示词输入至预训练的大语言模型,通过大语言模型确定字段样本的数据质量,并生成质量分析报告;获取预设的清洗算子列表,将清洗算子列表输入至大语言模型,其中,清洗算子列表中包括各清洗算子的功能描述;通过大语言模型确定质量分析报告的报告项与各清洗算子的功能描述的语义相似度,在清洗算子列表中确定目标清洗算子;根据目标清洗算子对字段样本进行清洗,提升了数据清洗效率。

外部リソース