一种基于上下文标记与模型级联的文档切分方法及系统

本发明涉及自然语言处理技术领域，提供一种基于上下文标记与模型级联的文档切分方法，包括，响应文档切分请求，加载待处理文档并初始化切分参数；调用大语言模型对当前待处理的文本段进行分析，识别逻辑分界点并生成包含切分点标记及上下文的楔子信息；根据楔子信息在文本段中定位切分点的绝对位置，将文本段切分为若干文本子段；重复执行直至达到预设的递归终止条件；当递归完成后将各层切分结果进行聚合，构建层级化文档结构并输出切分结果。通过通过楔子机制，仅输出微小的定位标记，降低令牌成本，结合模型级联策略优化了整体成本。生成的文本块与文档的语义边界高度对齐，有效解决了上下文碎片化问题，增强了上下文关联性，抑制模型幻觉。