№ CN121328562AInvention
Active一种用于提高长文本处理效率和准确率的方法
本发明公开了一种用于提高长文本处理效率和准确率的方法,涉及自然语言处理与大语言模型技术领域,本发明依次执行文本分词嵌入、滑动分块预处理、YaRN位置编码注入、动态稀疏注意力计算、多级注意力融合、分级KV缓存管理及输出生成;通过对数缩放抑制位置漂移,并依据注意力活跃度自适应筛选关键上下文,使注意力计算复杂度近线性;在百万级Token推理中,本方法的显存占用降低、远程依赖召回率提升,适用于文档分析、代码审计及多模态流式理解等场景。
❖北京荆跃科技有限公司张岩§ 4/10 ClaimsG06F 40/30 (2020.01), G06N 3/045 (2023.01), G06N 3/0495 (2023.01) +49