投标文档查重方法、系统、设备及介质

本申请提供一种投标文档查重方法、系统、设备及介质，方法包括：获取投标文档的文件内容；投标文档包括待查重文档和对比文档；提取文件内容的子字符串；将子字符串进行分桶处理，将符合预设条件的子字符串映射至同一哈希桶中；计算相同哈希桶中待查重文档的子字符串和对比文档的子字符串之间的相似度，并确定子字符串之间的配对关系；根据配对关系进行配对合并，得到最大重复片段；根据最大重复片段计算内容重复率，以确定投标文档的查重结果。通过分桶策略将相似子字符串集中在相同的哈希桶中，实现对大规模文本数据的快速重复检测，提高查重响应速度；根据相似度和配对关系确定最大重复片段，解决少量字符改动的重复片段无法识别问题。