CNIPA.AI
返回搜索
档案

面向Transformer推理的混合键合3D堆叠加速器及加速方法

发明专利有效
9浏览
10权利要求 · 2 独立
§ Ⅰ

卷宗概要

发明人

陈小柏; 季贇杰; 尹捷明

IPC 分类

G06N 3/063 (2023.01)G06N 5/04 (2023.01)G06N 3/0455 (2023.01)G06F 15/78 (2006.01)G06F 3/06 (2006.01)

本申请属于Transformer模型加速领域,公开了一种面向Transformer推理的混合键合3D堆叠加速器及加速方法,该加速器采用3D堆叠架构,包括DRAM存储裸片和逻辑裸片,DRAM存储裸片包含16个DRAM存储块,逻辑裸片包含16个处理组,每个处理组对应一个DRAM存储块,每个处理组集成2个注意力处理单元,DRAM存储块与处理组之间通过32条铜‑铜混合键合垂直通道连接。本申请解决推理过程中计算密集、内存带宽需求高的问题,实现高效的模型推理加速,适用于自然语言处理、计算机视觉、视频分析等依赖Transformer模型的应用场景。