代码推理加速方法及相关设备

本申请提供一种代码推理加速方法及相关设备。所述方法包括：对获取的第一词元序列对应的代码进行异常评估；响应于所述代码存在异常，对存在异常的代码所对应的第二词元序列进行分类并修复，得到第三词元序列；将所述第三词元序列与除所述第二词元序列外的所述第一词元序列进行合并，得到第四词元序列；计算所述第四词元序列中每一词元的跳过概率，根据所述跳过概率对所述第四词元序列进行跳层推理。本申请实施例通过异常检测与修复、内存优化和跳层推理，显著提升代码推理效率和质量。静态内存分配与状态复用减少资源消耗，跳层推理动态优化计算路径，并引入损失监测与回滚机制，兼顾性能与精度，适用于多种代码生成场景。