検索に戻る
案件記録
一种闲置算力预计算与推理文档复用的算力优化方法及系统
発明不明
10請求項 · 2 独立
§ Ⅰ
案件概要
IPC分類
G06F 9/50 (2006.01)G06F 18/24 (2023.01)G06F 18/22 (2023.01)G06N 3/045 (2023.01)G06N 5/04 (2023.01)G06N 3/0895 (2023.01)
本发明公开了一种闲置算力预计算与推理文档复用的算力优化方法及系统,属于计算机算力处理领域。针对大语言模型推理中重复计算导致资源浪费的问题,本发明利用闲置算力预先执行链式推理,将推理步骤结构化提取为含步骤序列、中间结果及依赖关系的推理文档,并建模为有向无环图,提取节点类型序列哈希指纹、拓扑结构最小哈希指纹和结构不变量向量三维指纹。接收用户任务后,通过轻量级分类器预测推理模板类别并生成查询有向无环图,基于多维指纹联合检索匹配文档,再将文档按结论段、关键推理段、背景铺垫段依优先级注入用户提示词。本发明实现了推理逻辑的结构化复用,显著降低重复推理成本,提升算力利用效率和响应速度。
ログインして全文を読む
請求項 1 を表示しています。無料登録で全 10 項の請求項、明細書全文、全図面、翻訳、法的状態を閲覧できます。
- 全請求項
- 技術分野
- 背景技術
- 発明の概要
- 図面の説明
- 発明を実施するための形態
外部リソース