検索に戻る
案件記録
支持多模态异构客户端的联邦大模型知识协同训练方法
発明有効
10請求項 · 3 独立
§ Ⅰ
案件概要
発明者
韩蒙; 索佳慧; 李荣昌; 林昶廷; 杨波; 熊婧; 芦天亮; 李晓波
IPC分類
G06N 20/00 (2019.01)G06N 5/02 (2023.01)G06F 21/62 (2013.01)G06F 18/25 (2023.01)
本发明公开了一种支持多模态异构客户端的联邦大模型知识协同训练方法,包括:各客户端接收中央服务器端下发的模型初始化参数,基于本地私有数据并施加自适应差分隐私噪声独立训练异构轻量模型;将施加噪声后的模型更新及其模态标识上传至中央服务器端;接收各客户端的模型更新及模态标识后,基于模态感知加权共识融合机制,融合各客户端知识以更新全局大模型;中央服务器端将更新后的全局大模型的表示层参数下发至客户端,用于下一轮本地训练的初始化。本发明无需依赖公共数据集或特定任务设定的前提下,实现了对数据异构性、客户端动态参与、模型多样性及隐私保护需求的全面兼容,显著提升了大模型联邦训练的适应性、稳定性与知识利用效率。
ログインして全文を読む
請求項 1 を表示しています。無料登録で全 10 項の請求項、明細書全文、全図面、翻訳、法的状態を閲覧できます。
- 全請求項
- 技術分野
- 背景技術
- 発明の概要
- 図面の説明
- 発明を実施するための形態
外部リソース