검색으로 돌아가기
기록
大语言模型推理优化方法、装置、存储介质及计算机设备
발명유효
10청구항 · 4 독립항
§ Ⅰ
개요
발명자
涂小涛; 张浩; 方燕琼; 黄越泳; 张朝鑫; 周志勇; 方礼乐; 蒙伟机; 岑渝华
IPC 분류
G06N 5/04 (2023.01)G06N 3/0455 (2023.01)G06N 3/096 (2023.01)G06F 40/30 (2020.01)G06N 5/022 (2023.01)G06N 3/084 (2023.01)
本申请提供的大语言模型推理优化方法、装置、存储介质及计算机设备,获取多维度监测数据,然后将多维度监测数据输入至预先训练的环境决策网络,得到最优模型配置。之后根据多维度监测数据评估当前的资源状态,并根据资源状态和最优模型配置,确定最优执行路径。最后基于最优模型配置调整目标模型,并在目标模型的推理过程中,按照最优执行路径进行模型推理。在上述过程中,通过采集多维度检测数据来评估资源状态并确定最优模型配置,进而动态确定最优执行路径,这样能够依据实际运行时状态动态调整模型结构与计算策略,从而在保障推理精度的同时,有效降低响应延迟,提升资源利用效率。
로그인하고 전문 읽기
청구항 1을 표시했습니다. 무료 가입하면 전체 10개 청구항, 명세서 전문, 전체 도면, 번역, 법적 상태를 볼 수 있습니다.
- 전체 청구항
- 기술 분야
- 배경 기술
- 발명의 내용
- 도면 설명
- 발명의 실시 형태