검색으로 돌아가기
기록
一种基于区块链激励的消费级GPU集群分布式大语言模型推理系统
발명알 수 없음
7청구항 · 1 독립항
§ Ⅰ
개요
IPC 분류
G06F 9/38 (2018.01)H04L 67/104 (2022.01)G06F 9/48 (2006.01)G06F 9/50 (2006.01)G06F 21/57 (2013.01)G06N 5/04 (2023.01)G06N 3/0455 (2023.01)G06N 3/045 (2023.01)
本发明属于分布式计算技术领域,具体为一种基于区块链激励的消费级GPU集群分布式大语言模型推理系统。本发明系统采用六个方面的技术措施:低显存配额感知分片放置机制,层级流水线并行推理协议,两阶段乐观欺诈证明协议,推理响应与经济结算异步分离机制,质押感知七维调度评分函数,节点八态状态机与热备容错机制;系统为三层架构,所述技术措施协同配合,在不可信P2P网络中实现低显存节点参与大模型推理的完整闭环;本发明可将逻辑服务配额与物理GPU显存解耦,使实时性与经济安全性得以兼顾;实现可重放片段级验证,解决不可信节点的正确性证明难题;消除区块链延迟对用户体验的影响;在异构不可信P2P网络中实现可验证、可激励的分布式AI推理服务。
로그인하고 전문 읽기
청구항 1을 표시했습니다. 무료 가입하면 전체 7개 청구항, 명세서 전문, 전체 도면, 번역, 법적 상태를 볼 수 있습니다.
- 전체 청구항
- 기술 분야
- 배경 기술
- 발명의 내용
- 도면 설명
- 발명의 실시 형태