検索に戻る
案件記録

基于因果注意力无损加速算法的大模型训练方法、装置及设备

発明有効
10請求項 · 3 独立
§ Ⅰ

案件概要

発明者

雷宾 德米特里; 张雨舜; 丁添; 罗智泉

IPC分類

G06N 3/08 (2023.01)G06N 3/045 (2023.01)G06F 7/523 (2006.01)G06F 17/16 (2006.01)G06F 7/498 (2006.01)

本说明书实施例公开了一种基于因果注意力无损加速算法的大模型训练方法、装置及设备,所述大模型训练方法包括:获取待训练的训练数据;基于所述待训练的训练数据,生成Query矩阵和Key矩阵;基于预设的分块数,对所述Query矩阵及所述Key矩阵进行分块,获得子矩阵网络;按照预设次数的结构化矩阵乘法,对所述子矩阵网络中的子块按照预设的线性组合规则进行计算,获得乘法结果;对所述乘法结果进行掩码乘法操作,获得掩码结果;将所述乘法结果与所述掩码结果进行加法操作,获得掩码注意力矩阵;基于所述掩码注意力矩阵,训练获得目标大模型。

ログインして全文を読む

請求項 1 を表示しています。無料登録で全 10 項の請求項、明細書全文、全図面、翻訳、法的状態を閲覧できます。

  • 全請求項
  • 技術分野
  • 背景技術
  • 発明の概要
  • 図面の説明
  • 発明を実施するための形態

外部リソース