CNIPA.AI
검색으로 돌아가기
기록

车端模型部署框架、模型访问方法、介质及车辆

발명유효
11청구항 · 4 독립항
§ Ⅰ

개요

발명자

李坤

IPC 분류

G06F 8/60 (2018.01)G06N 5/04 (2023.01)G06F 9/445 (2018.01)G06F 9/48 (2006.01)G06F 9/50 (2006.01)

本公开实施例涉及一种车端模型部署框架、模型访问方法、介质及车辆,该框架包括:多个算力节点,每个算力节点上部署有至少一个操作系统,每个操作系统上部署有一个算力服务,操作系统上部署有模型;在应用程序发出模型使用请求的情况下,接收模型使用请求的第一目标算力服务用于在满足预设转发条件的情况下,将模型使用请求转发至第二目标算力服务上,第二目标算力服务用于加载目标模型并使用目标模型执行模型使用请求对应的推理任务,目标模型指的是模型使用请求所指示的模型。本公开实施例可以提高模型使用率且降低模型对算力节点的资源占用。