검색으로 돌아가기
기록
面向Transformer推理的混合键合3D堆叠加速器及加速方法
발명유효
1조회수
10청구항 · 2 독립항
§ Ⅰ
개요
발명자
陈小柏; 季贇杰; 尹捷明
IPC 분류
G06N 3/063 (2023.01)G06N 5/04 (2023.01)G06N 3/0455 (2023.01)G06F 15/78 (2006.01)G06F 3/06 (2006.01)
本申请属于Transformer模型加速领域,公开了一种面向Transformer推理的混合键合3D堆叠加速器及加速方法,该加速器采用3D堆叠架构,包括DRAM存储裸片和逻辑裸片,DRAM存储裸片包含16个DRAM存储块,逻辑裸片包含16个处理组,每个处理组对应一个DRAM存储块,每个处理组集成2个注意力处理单元,DRAM存储块与处理组之间通过32条铜‑铜混合键合垂直通道连接。本申请解决推理过程中计算密集、内存带宽需求高的问题,实现高效的模型推理加速,适用于自然语言处理、计算机视觉、视频分析等依赖Transformer模型的应用场景。