面向敏感领域的文本嵌入模型本地化微调方法、系统
本发明提供了面向敏感领域的文本嵌入模型本地化微调方法、系统,涉及模型本地化技术领域,方法包括:得到初始敏感领域语料库;筛选保留领域高价值文本段落语料库;进行领域合成查询生成,得到多组样本领域检索查询语,构建多组查询‑正例文档对;进行低质量样本过滤后,进行假负例剔除和硬负例挖掘,形成对比学习训练样本集;进行分组对比学习训练,得到多个领域适配低秩参数矩阵;完成高敏感度领域本地化适配。解决了现有技术采用通用文本嵌入模型直接执行敏感领域文本检索,导致模型对敏感领域专业术语的表示能力不足,进而导致查询文本与领域文档之间的语义匹配准确度降低,无法满足高专业性领域的信息检索需求的技术问题。