返回搜索
档案
一种大语言模型流式推理中的三级Token过滤方法及系统
发明专利未知
8权利要求 · 2 独立
§ Ⅰ
卷宗概要
IPC 分类
G06F 40/10 (2020.01)G06F 40/284 (2020.01)G06N 5/04 (2023.01)
一种大语言模型流式推理中的三级 Token 过滤方法及系统。方法包括:Piece 级实时检测,在每个 token 生成后立即拦截特殊 Token;累积级检测,在文本拼接过程中发现并截断跨边界特殊 Token;后处理级正则替换,作为最终保险清除残留。系统包括三级检测模块和特殊 Token 模式库。本发明通过三级递进式过滤,实现了流式推理过程中特殊 Token 的实时检测与精确拦截,既保证了输出实时性,又彻底消除了特殊 Token 污染。
登录后阅读全文
已显示权利要求 1。免费注册即可阅读全部 8 项权利要求、说明书全文、全部附图、翻译和法律状态。
- 全部权利要求
- 技术领域
- 背景技术
- 发明内容
- 附图说明
- 具体实施方式