一种数据清洗方法、设备、介质及产品

本申请公开了一种数据清洗方法、设备、介质及产品，涉及数据清洗技术领域，该方法包括：获取待清洗原始数据集，对待清洗原始数据集进行标准化结构表示处理得到待清洗序列化样本集，选取待清洗序列化样本集的若干个序列化文本样本进行人工更正，得到干净参考样本集；采用干净参考样本集对因果语言模型进行训练，得到结构化数据清洗模型；基于结构化数据清洗模型对每条序列化文本样本中的各目标字段计算字段局部负对数似然，识别疑似脏字段；利用结构化数据清洗模型和参考索引对每一疑似脏字段进行基于融合检索证据与局部上下文的修正，本申请可提高脏数据识别效率并减少人的数据清洗工作量，同时可提高修正数据的可靠性，保证修正的准确率。