CNIPA.AI
返回搜索
档案

一种协议无关的AI推理网关双向转换方法及系统

发明专利未知
8权利要求 · 2 独立
§ Ⅰ

卷宗概要

发明人

张元星; 李龙俊; 黎沛

申请日

Sep 14, 2026

公开日

Oct 16, 2026

IPC 分类

H04L 69/08 (2022.01)H04L 69/06 (2022.01)H04L 69/22 (2022.01)H04L 45/748 (2022.01)G06N 5/046 (2023.01)

本发明属于人工智能推理服务技术领域,公开了一种协议无关的AI推理网关双向转换方法及系统;包括:接收推理请求,生成语义依赖图;根据语义依赖图,确定各上下文前缀标识与各候选后端推理节点之间的匹配关系以及对应的缓存命中率;选出目标后端推理节点并确定对应的协议适配策略;基于协议适配策略发送请求;接收子响应并进行解析,识别语义边界事件,从而动态调整流式语义转换策略;对动态调整后的各子响应进行增量重组,得到符合第二协议格式的推理响应。本发明通过获取目标后端推理节点的协议能力画像,根据后端节点的的多维能力约束,为各语义片段确定差异化的协议适配策略,显著提升了网关对异构后端集群的协议适配能力和服务稳定性。

登录后阅读全文

已显示权利要求 1。免费注册即可阅读全部 8 项权利要求、说明书全文、全部附图、翻译和法律状态。

  • 全部权利要求
  • 技术领域
  • 背景技术
  • 发明内容
  • 附图说明
  • 具体实施方式