返回搜索
档案
一种闲置算力预计算与推理文档复用的算力优化方法及系统
发明专利未知
10权利要求 · 2 独立
§ Ⅰ
卷宗概要
IPC 分类
G06F 9/50 (2006.01)G06F 18/24 (2023.01)G06F 18/22 (2023.01)G06N 3/045 (2023.01)G06N 5/04 (2023.01)G06N 3/0895 (2023.01)
本发明公开了一种闲置算力预计算与推理文档复用的算力优化方法及系统,属于计算机算力处理领域。针对大语言模型推理中重复计算导致资源浪费的问题,本发明利用闲置算力预先执行链式推理,将推理步骤结构化提取为含步骤序列、中间结果及依赖关系的推理文档,并建模为有向无环图,提取节点类型序列哈希指纹、拓扑结构最小哈希指纹和结构不变量向量三维指纹。接收用户任务后,通过轻量级分类器预测推理模板类别并生成查询有向无环图,基于多维指纹联合检索匹配文档,再将文档按结论段、关键推理段、背景铺垫段依优先级注入用户提示词。本发明实现了推理逻辑的结构化复用,显著降低重复推理成本,提升算力利用效率和响应速度。
登录后阅读全文
已显示权利要求 1。免费注册即可阅读全部 10 项权利要求、说明书全文、全部附图、翻译和法律状态。
- 全部权利要求
- 技术领域
- 背景技术
- 发明内容
- 附图说明
- 具体实施方式