基于经验回放的语言模型训练方法、装置、设备及存储介质

本申请公开了一种基于经验回放的语言模型训练方法、装置、设备及存储介质，涉及人工智能技术领域，该方法包括：基于初始语言模型，收集问答数据，将问答数据存放入经验池中；将基于回放比例从经验池中选取的回放问答数据与基于初始语言模型的推理模块参数生成的新问答数据合并，得到训练问答数据；基于训练问答数据的相对优势值，更新初始语言模型的训练模块参数，将更新的初始语言模型存入模型库中；在训练问答数据的相对优势值符合预设收敛条件时，在模型库中选取符合预设指标的目标语言模型；基于目标语言模型，完成目标问答任务。通过上述方式，引入经验回放机制，且训练与推理解耦，提升训练效率，训练过程借助经验池，有效提高训练稳定性。