深圳市今天国际物流技术股份有限公司

本发明公开一种AI流式响应消息的节流推送方法、装置、设备及介质，该方法包括：将上游AI服务输出的流式响应片段追加至缓冲区，得到缓冲文本；识别上游AI服务的来源类型，据此选取长度阈值和时间间隔阈值；在累计长度达到长度阈值或推送间隔达到时间间隔阈值时生成推送触发信号；响应于该信号取出缓冲文本并清洗，得到待推送消息；将待推送消息发送至下游平台，成功时清空缓冲区并更新推送时间，失败时将其回填至缓冲区头部。本发明以缓冲汇聚与按来源类型自适应选取的双阈值触发判据，将高频细粒度片段合并为少量批次推送，并以失败回填保障内容完整，在保证消息及时可见的同时降低了推送频率，避免因超出下游平台速率上限而被限流丢弃。