검색으로 돌아가기
기록
面向垂直领域数据挖掘的大模型机密微调方法及系统
발명알 수 없음
2조회수
9청구항 · 4 독립항
§ Ⅰ
개요
IPC 분류
G06N 3/096 (2023.01)G06N 3/0455 (2023.01)G06F 21/60 (2013.01)G06F 17/16 (2006.01)
本申请涉及面向垂直领域数据挖掘的大模型机密微调方法及系统。所述方法包括:获取大模型中待微调的权重矩阵的低秩分解参数和同态加密全局参数集;计算得到输出侧矩阵和输入侧矩阵的密文乘法噪声放大系数;基于密文乘法噪声放大系数分别为输出侧矩阵和输入侧矩阵分配噪声预算值;基于各自噪声预算值分别对输出侧矩阵和输入侧矩阵进行同态加密,得到对应的密文矩阵数据;对两个密文矩阵数据进行密文域乘法运算,得到增量矩阵密文数据以完成大模型参数微调。采用本方法能够在保证微调效果的前提下实现全链路机密性保护,有效防止模型参数和训练数据在计算过程中的泄露。