一种推理请求的处理方法及电子设备

本申请公开了一种推理请求的处理方法及电子设备，涉及模型推理技术领域，包括基于预训练语言模型初始化或部署后捕获的计算流程生成拓扑执行图，并结合历史序列长度的分布特征，构建包含不同序列长度专属拓扑执行图的图池，图池的构建逻辑能够覆盖实际应用中高频出现的多种序列长度场景；同时，基于预训练语言模型计算流程捕获的执行图构建方式，确保了不同长度拓扑执行图的结构一致性和计算正确性，使得推理框架能够灵活响应不同长度的推理请求；当推理请求的实际序列长度大于预设长度阈值时，将其拆分为多个独立子块，随后针对每个子块，从图池中匹配对应的目标拓扑执行图并启动执行，避免因超长序列超出固定范围而回退至动态核函数的情况。