검색으로 돌아가기
기록
文本的切分方法、装置、电子设备及计算机程序产品
발명유효
2조회수
10청구항 · 4 독립항
§ Ⅰ
개요
발명자
左思琪; 吴艳芹; 张平; 王迎; 郭蓉蓉
IPC 분류
G06F 16/35 (2025.01)G06F 18/2411 (2023.01)G06F 18/22 (2023.01)G06F 18/213 (2023.01)
本公开涉及一种文本的切分方法、装置、电子设备及计算机程序产品,属于自然语言处理技术领域。该方法包括:对原始文本进行初步切分,得到多个初始文本块;根据初始文本块的信息密度,将初始文本块划分为多种密度类型,并生成各类初始文本块对应的语义嵌入向量;获取各类初始文本块分别对应的基础相似度阈值,并根据各类初始文本块的语义特征对基础相似度阈值进行调整,得到各类初始文本块分别对应的相似度阈值;根据语义嵌入向量和相似度阈值对各类初始文本块的切分方式进行调整,得到原始文本的切分结果。本公开可以在不丢失语义的情况下提升文本切分的计算效率。