内外网分离的大模型调用系统、方法及电子设备

本申请提供一种内外网分离的大模型调用系统、方法及电子设备，本申请通过双区代理架构、序列号和校验码的机制，确保了流式数据在传输过程中不会出现丢失或错误的情况。在流式调用模块中，通过为数据分片设置序列号，且在发现数据缺失时能够重新消费消息，从而保证了数据的完整性和准确性。能够及时发现并纠正数据传输过程中的错误，提高了系统的可靠性和稳定性。利用消息队列处理内网数据库增量数据，使得外网代理服务能够及时获取内网返回的流式数据，并迅速将其推送至请求返回结果缓存中，从而保证了请求返回的实时性。此外，内网代理服务定时轮询关系型数据库的请求表，能够及时发现新的请求并进行处理，提高了系统的响应速度和处理效率。