服务器复用系统、方法、计算机设备、存储介质和程序产品

本申请涉及一种服务器复用系统、方法、计算机设备、存储介质和计算机程序产品。该系统包括：通过配置中心响应于客户端的模型接入请求，并获取客户端的域名信息，根据模型接入请求对应的大模型服务的标识信息，标记域名信息，得到客户端的标记后域名信息；通过调度单元根据获取到的各缓存服务器的当前资源使用信息，从各缓存服务器中确定出满足预设资源使用条件的目标缓存服务器；通过配置中心将模型接入请求和标记后域名信息发送至目标缓存服务器，以供网关加载目标缓存服务器中的标记后域名信息，以及在检测到标记后域名信息中携带有标识信息时，则将模型接入请求转发至标识信息对应的大模型服务。采用本方法能够提高服务器资源利用率。