検索に戻る
案件記録
轻量化推理加速的大模型层修剪方法、装置、设备及介质
発明有効
10請求項 · 4 独立
§ Ⅰ
案件概要
発明者
梁伟; 黄作柳; 郭征凯; 张博文; 奎晓燕; 李闯; 龙巍; 郑浩
IPC分類
G06N 3/082 (2023.01)G06F 18/231 (2023.01)G06F 18/2431 (2023.01)G06N 3/0455 (2023.01)G06N 5/04 (2023.01)
本发明属于计算机人工智能领域,本发明提供了一种轻量化推理加速的大模型层修剪方法、装置、设备及介质,其中方法包括:初始化原始模型的模型参数和剪枝状态;获取原始模型的Transformer层的输出张量,根据输出张量对Transformer层进行逐层的余弦相似度计算,得到相邻Transformer层对间的相似度矩阵;根据相似度矩阵,采用聚类算法进行动态层次聚类分组处理,得到Transformer层的类别聚类结果;根据目标函数及类别聚类结果,对原始模型采用迭代渐进式层修剪策略进行处理,得到原始模型的层修剪结果。本发明的有益效果为:提高了大模型的推理速度,降低模型推理时的系统资源消耗。
ログインして全文を読む
請求項 1 を表示しています。無料登録で全 10 項の請求項、明細書全文、全図面、翻訳、法的状態を閲覧できます。
- 全請求項
- 技術分野
- 背景技術
- 発明の概要
- 図面の説明
- 発明を実施するための形態
外部リソース