검색으로 돌아가기
기록
一种阶段感知的大模型上下文可逆压缩与缓存方法及系统
발명알 수 없음
11조회수
10청구항 · 4 독립항
§ Ⅰ
개요
IPC 분류
G06F 40/30 (2020.01)G06N 3/0442 (2023.01)G06N 3/082 (2023.01)G06N 3/092 (2023.01)G06N 5/04 (2023.01)
本发明公开了一种阶段感知的大模型上下文可逆压缩与缓存方法及系统,涉及人工智能及大模型推理优化技术领域。该方法包括:获取原始软件研发运维上下文,执行结构化切分与语义标注,构建上下文依赖图;识别当前任务阶段并匹配压缩策略模板,计算上下文重要性评分,划分硬保留集合与候选压缩集合;通过规则约束与强化学习混合决策架构对候选对象执行记忆操作;对需保留的上下文执行分层可逆压缩,生成支持按需展开和精确恢复的可逆压缩包;基于复合缓存键实现双通道缓存复用与增量更新;组装分层上下文包输入大模型,并根据监控反馈动态调整策略参数。本发明能够根据任务阶段自适应压缩上下文,在保证推理精度的同时显著提升上下文处理效率。