検索に戻る
案件記録
基于类激活图的可解释性无数据知识蒸馏方法
発明有効
10請求項 · 1 独立
§ Ⅰ
案件概要
発明者
李俊; 匡振中; 李忠金; 余宙
IPC分類
G06N 3/096 (2023.01)G06N 3/0464 (2023.01)G06N 3/048 (2023.01)G06N 3/045 (2023.01)G06V 10/82 (2022.01)G06V 10/774 (2022.01)G06V 10/44 (2022.01)G06N 3/084 (2023.01)G06N 3/047 (2023.01)G06V 10/764 (2022.01)G06N 3/0475 (2023.01)
本发明公开了基于类激活图的可解释性无数据知识蒸馏方法,包括以下步骤:输入随机噪声至生成器,生成与目标数据集分布相似的合成图像;将合成图像分别输入经过结构调整的教师模型和学生模型;通过教师模型和学生模型分别生成对应的类激活图;将教师类激活图和学生类激活图输入预训练的尺度映射网络,对类激活图进行跨尺度缩放;对经过缩放的类激活图进行正则化处理,得到标准化的教师类激活图与学生类激活图;基于教师类激活图与学生类激活图计算均方误差损失,实现知识传递;最后结合信息熵损失、独热损失与激活损失对生成器进行优化。本发明能够在无真实数据的条件下实现有效的知识蒸馏,提升了蒸馏过程的可解释性与稳定性。
外部リソース