原始名称记载: 中债金科信息技术有限公司; 清华大学

本发明涉及大模型推理技术领域，公开一种多模型推理的模型切换方法，本发明通过引入以层为粒度的模型切分与动态换入换出机制，结合支持多实例并发执行的多模型管理器及负载感知智能调度算法，有效解决资源受限环境下多模型部署的难题。本发明能够显著降低模型切换延迟，实现多模型的真正并发推理，并能根据实时负载动态优化资源分配，从而在有限GPU显存条件下，大幅提升系统吞吐量、降低平均响应时间，为在算力受限场景中高效运行多个大模型提供可行的解决方案。

本发明涉及深度学习模型训练技术领域，公开一种针对深度学习模型训练的内存资源优化方法、系统、设备及介质，通过构建有向非循环计算图并建立精确的数学模型，将内存优化问题转化为约束优化问题，实现全局最优策略求解，有效降低训练计算开销；利用矩阵精细管控张量的生成、释放和交换，支持同一张量多次换入操作，显著提升GPU和主机内存的利用率；建立完善依赖约束体系避免资源冲突，保障训练正确性；引入动态内存估算，防止内存溢出；通过约束线性化方法提高求解效率，结合递归溯源算法保证解的质量；可无缝集成至主流深度学习框架，对用户透明易用，有效解决单GPU训练中的内存瓶颈问题，为大规模模型训练提供高效、稳定的内存优化支持。

本发明涉及人工智能技术领域，提供一种基于大语言模型的领域关系抽取方法及系统。该方法包括：识别领域文本集合中的实体信息，获得带类型标注的标注实体集合；基于所述标注实体集合中的实体对和预定义关系类型，利用判断题生成算法构建问题集合，获得领域关系判断题集合；通过对话格式转换算法将结构化领域数据经重构为训练数据，采用QLoRA量化微调算法基于所述训练数据训练大语言模型，获得领域微调模型；运用双层检索算法从知识图谱中检索获取相关信息，结合所述领域关系判断题集合及所述相关信息输入至所述领域微调模型进行推理，获得领域关系三元组。本发明实现了高精度、可解释的领域关系抽取，提升了模型在垂直领域的准确性和鲁棒性。

本发明涉及大语言模型的训练和优化技术领域，公开一种基于重要性抽样的直接偏好优化方法及装置，本发明通过引入字符标记级别的重要性抽样机制，有效解决现有直接偏好优化方法将响应序列整体处理导致的优化效率低下问题。本发明利用正向偏好模型、负向偏好模型估算每个字符标记的重要性权重，并对优化目标进行加权，使训练资源集中于关键字符标记，从而在不增加数据标注成本、不改变原有简洁流程的前提下，实现更高效、更稳定、且具备良好可解释性的模型偏好对齐，显著提升大语言模型的优化效率与输出质量。