検索に戻る
案件記録

一种基于类生物调节机制的Transformer架构的应用方法

発明有効
12閲覧数
10請求項 · 1 独立
§ Ⅰ

案件概要

発明者

崔幸; 陈婷; 姜春风; 岳宁; 陆杨溪

IPC分類

G06N 3/0455 (2023.01)G06N 3/082 (2023.01)G06N 3/0499 (2023.01)G06N 3/0442 (2023.01)G06N 3/048 (2023.01)G06N 3/0985 (2023.01)G06N 3/098 (2023.01)

本发明公开了一种基于类生物调节机制的Transformer架构的应用方法,S1、将原始数据切分为基本单位token,然后通过词嵌入层将每个离散的token映射为一个连续的高维向量;S2、原型激活单元从输入的嵌入token中识别初始语义核心,基于token的嵌入向量进行激活值评分;S3、多尺度原型聚合模块将所述原型候选进行多尺度图式聚合,形成跨token的原型向量;S4、调节路径分叉器根据token的上下文语义权重与原型响应度,确定每一个token的主/副路径分配策略;S5、所述主路径执行标准QKV计算流程;S6、生物调节回路模块利用S3步骤中聚合后的原型向量对副路径token进行反馈调节;S7、对主路径与副路径产生的两个token表达流进行整合,从而生成Transformer层的最终输出。

外部リソース