基于AI代理的大模型服务的容灾系统、方法及装置

本发明提供一种基于AI代理的大模型服务的容灾系统、方法及装置，容系统包括：大模型服务模块，包括若干个GPU服务器，大模型服务模块用于响应于用户的配置请求信息，对应配置若干个GPU服务器的服务端点；探测状态服务模块，用于监控大模型服务模块的服务端点的状态信息，并定时更新状态缓存池中存储的大模型服务模块的服务端点的状态信息；AI代理服务模块，用于发送大模型服务模块的状态查询请求至探测状态服务模块，接收返回的服务端点的状态信息并分析状态信息，以确定异常GPU服务器的服务端点，自动切换至正常GPU服务器的服务端点。本发明实现对大模型服务模块的服务端点的实时监控、状态分析和自动切换，提高了系统的容灾能力。