CNIPA.AI
검색으로 돌아가기
기록

文本分块方法、装置、计算机设备、可读存储介质和程序产品

발명유효
1조회수
10청구항 · 5 독립항
§ Ⅰ

개요

발명자

陶旭东; 李馨迟; 郭枝虾; 刘康

IPC 분류

G06F 16/353 (2025.01)G06F 40/30 (2020.01)G06F 18/22 (2023.01)G06F 18/213 (2023.01)G06N 3/045 (2023.01)G06N 5/01 (2023.01)

本申请涉及一种文本分块方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。包括:对输入文本进行预处理,提取多维度特征;利用策略分类器对多维度特征进行分析,输出预测的最优分块策略;基于最优分块策略,对输入文本进行分块处理,得到分块结果;对分块结果进行评估,得到评估结果;基于评估结果,对策略分类器进行优化。通过上述方式,具备自动特征识别、策略选择与自适应优化能力,能够根据文本内容自适应地选择最优分块策略,从而实现更高质量的文本预处理,提升了文本分块任务的高效性、准确性与鲁棒性,增强下游模型的处理效果。具备良好的可扩展性与通用性,可广泛应用于问答系统、智能搜索、语义索引、内容摘要等任务。