CNIPA.AI
검색으로 돌아가기
기록

面向Transformer推理的混合键合3D堆叠加速器及加速方法

발명유효
1조회수
10청구항 · 2 독립항
§ Ⅰ

개요

발명자

陈小柏; 季贇杰; 尹捷明

IPC 분류

G06N 3/063 (2023.01)G06N 5/04 (2023.01)G06N 3/0455 (2023.01)G06F 15/78 (2006.01)G06F 3/06 (2006.01)

本申请属于Transformer模型加速领域,公开了一种面向Transformer推理的混合键合3D堆叠加速器及加速方法,该加速器采用3D堆叠架构,包括DRAM存储裸片和逻辑裸片,DRAM存储裸片包含16个DRAM存储块,逻辑裸片包含16个处理组,每个处理组对应一个DRAM存储块,每个处理组集成2个注意力处理单元,DRAM存储块与处理组之间通过32条铜‑铜混合键合垂直通道连接。本申请解决推理过程中计算密集、内存带宽需求高的问题,实现高效的模型推理加速,适用于自然语言处理、计算机视觉、视频分析等依赖Transformer模型的应用场景。