一种AI模型的推理方法及装置

本申请提供一种AI模型的推理方法及装置，涉及人工智能技术领域。该方法包括获取AI模型已生成的序列，该AI模型具有思维链推理能力，该序列为AI模型基于输入的查询请求生成；然后基于该序列，识别AI模型推理产生的思维链是否存在冗余反思；当识别到AI模型存在冗余反思时，则对思维链执行终止操作，以使AI模型终止思考，输出查询请求所对应的应答内容。本申请提供的AI模型的推理方法在保证AI模型的精度的基础上，有效缓解了AI模型的冗余反思问题，避免AI模型陷入长思考，有效降低了AI模型推理的算力开销。