文本去重方法、装置、设备、存储介质及程序产品

本说明书实施例提供一种文本去重方法、装置、设备、存储介质及程序产品。该方法中，获取待去重文本，该待去重文本包含术语；对待去重文本进行向量化，得到文本语义向量；获取基于术语的术语解释生成的术语语义向量；根据文本语义向量和术语语义向量，确定待去重文本在高维空间的高维语义向量；将高维语义向量降维至低维空间，得到第一低维语义向量；根据第一低维语义向量与待比较文本在低维空间的第二低维语义向量之间的语义相似度，确定待去重文本是否属于重复文本。