深圳市飞泉云数据服务有限公司

本申请公开了一种基于本地代理的去中心化大模型算力联合调度方法及系统，方法包括：解密本地存储的加密访问凭证，得到仅驻留于运行内存的运行时访问凭证；获取大模型API响应头携带的额度状态信息；根据额度状态信息确定可借出额度，向调度器发送资源状态信息；通过本地代理程序接收本地请求并写入本地队列；接收调度器根据资源状态信息下发的远程请求并写入远程队列；从本地队列和远程队列中确定待执行请求，利用运行时访问凭证调用大模型API执行待执行请求，得到执行结果；根据待执行请求的来源，向调度器或本地请求方发送执行结果。本申请有利于在保障本地请求处理优先级的情况下提高大模型API调用资源的整体利用率。