검색으로 돌아가기
기록
一种闲置算力预计算与推理文档复用的算力优化方法及系统
발명알 수 없음
10청구항 · 2 독립항
§ Ⅰ
개요
IPC 분류
G06F 9/50 (2006.01)G06F 18/24 (2023.01)G06F 18/22 (2023.01)G06N 3/045 (2023.01)G06N 5/04 (2023.01)G06N 3/0895 (2023.01)
本发明公开了一种闲置算力预计算与推理文档复用的算力优化方法及系统,属于计算机算力处理领域。针对大语言模型推理中重复计算导致资源浪费的问题,本发明利用闲置算力预先执行链式推理,将推理步骤结构化提取为含步骤序列、中间结果及依赖关系的推理文档,并建模为有向无环图,提取节点类型序列哈希指纹、拓扑结构最小哈希指纹和结构不变量向量三维指纹。接收用户任务后,通过轻量级分类器预测推理模板类别并生成查询有向无环图,基于多维指纹联合检索匹配文档,再将文档按结论段、关键推理段、背景铺垫段依优先级注入用户提示词。本发明实现了推理逻辑的结构化复用,显著降低重复推理成本,提升算力利用效率和响应速度。
로그인하고 전문 읽기
청구항 1을 표시했습니다. 무료 가입하면 전체 10개 청구항, 명세서 전문, 전체 도면, 번역, 법적 상태를 볼 수 있습니다.
- 전체 청구항
- 기술 분야
- 배경 기술
- 발명의 내용
- 도면 설명
- 발명의 실시 형태