广州启生信息技术有限公司

本发明提供一种基于LLM的在线医学命名实体识别模型自动优化方法，包括：预设医学实体类别及其类别说明；利用LLM对初始医学命名实体识别数据进行实体边界校准和实体类型校准，构建训练数据集和测试数据集，并训练Bert‑Base‑Chinese模型获得初始医学命名实体识别模型M0；将所述医学命名实体识别模型部署上线，在线对医学文本进行实体识别；构建在线抽样监督旁路，利用LLM对抽样文本进行实体识别，并与所述医学命名实体识别模型的预测结果进行对比，获取各医学实体类型的识别准确率、召回率和F1分数；根据预设的动态评分阈值筛选识别效果未达到目标的医学实体类型，并收集对应的文本及预测结果；利用LLM对所收集数据中的实体边界和实体类型进行校准，获取优化训练数据；根据所述优化训练数据重新训练医学命名实体识别模型，并在测试数据集上进行评估，当优化后的模型评估结果得到提升时更新在线模型。本发明实现了医学命名实体识别效果的在线检测、数据自动收集与校准、模型自动训练评估及更新，并能够针对识别效果较低的医学实体类型进行定向优化，解决了现有医学命名实体识别模型依赖人工离线维护、不同实体类型识别效果不均衡及难以持续自动优化的技术问题。