数据的去重方法及装置

本申请公开一种数据的去重方法及装置，涉及存储技术领域。本申请的方法包括：接收待入库数据，并对所述待入库数据添加数据标记；按照去重规则在数据库中确定对应的目标数据，并确定目标数据的数据标记；判断所述待入库数据的数据标记与所述目标数据的数据标记不相同；若是，则确定所述待入库数据为重复数据，并对所述待入库数据进行去重处理。本申请用于实现数据的去重功能。