검색으로 돌아가기
기록
大语言模型算子转换系统、方法及AI加速器
발명유효
9청구항 · 3 독립항
§ Ⅰ
개요
발명자
杜力; 李崇灏; 吴柏焘; 杜源
IPC 분류
G06N 3/0455 (2023.01)G06N 5/046 (2023.01)G06N 3/063 (2023.01)
本申请提供一种大语言模型算子转换系统、方法及AI加速器,所述系统包括:算子识别模块、转换模块及模型重构模块,算子识别模块解析输入模型的计算图结构,以识别计算图结构中,满足预设转换条件的可转换算子;转换模块基于预设转换策略,将可转换算子转换为等效算子序列;模型重构模块将输入模型的计算图中的可转换算子对应的节点,替换为等效算子序列,并更新连接关系以及权重初始化器,生成更新模型。所述系统通过识别规则与转换策略,实现模型优化的流水线处理,针对不同硬件平台的适配可以通过更新预设转换条件与转换策略来实现,以解决在CNN网络加速器上的部署效率与可扩展性低的问题。