上海华然技术有限公司

本发明公开了一种面向垂域大模型的自动化语料清洗与质量评估方法，属于人工智能自然语言处理技术领域。针对现有通用语料清洗方法缺乏领域专业知识支撑、质量评估指标单一且依赖人工校验的问题，本发明提出一种融合领域知识的自动化解决方案。该方法首先构建包含领域本体树、术语词典及逻辑约束的领域知识库；随后基于知识库执行一级粗粒度清洗，剔除术语错误及逻辑冲突的语料；接着通过语言流畅性、事实一致性、语义完整性及垂域相关性四个维度进行细粒度加权评分，量化语料质量；最后结合近似相似度去重与基于实体分布的多样性均衡，输出高质量训练语料。