№ CN122924995A发明专利
未知一种闲置算力预计算与推理文档复用的算力优化方法及系统
本发明公开了一种闲置算力预计算与推理文档复用的算力优化方法及系统,属于计算机算力处理领域。针对大语言模型推理中重复计算导致资源浪费的问题,本发明利用闲置算力预先执行链式推理,将推理步骤结构化提取为含步骤序列、中间结果及依赖关系的推理文档,并建模为有向无环图,提取节点类型序列哈希指纹、拓扑结构最小哈希指纹和结构不变量向量三维指纹。接收用户任务后,通过轻量级分类器预测推理模板类别并生成查询有向无环图,基于多维指纹联合检索匹配文档,再将文档按结论段、关键推理段、背景铺垫段依优先级注入用户提示词。本发明实现了推理逻辑的结构化复用,显著降低重复推理成本,提升算力利用效率和响应速度。
❖杭州北和致辰科技有限公司汪夏明; 张燕Oct 16, 2026§ 2/10 权利要求G06F 9/50 (2006.01), G06F 18/24 (2023.01), G06F 18/22 (2023.01) +3