CNIPA.AI
返回搜索
档案

混合专家模型算子数据预处理方法、装置及电子设备

发明专利未知
17权利要求 · 5 独立
§ Ⅰ

卷宗概要

发明人

徐明扬; 马寅

申请日

Jun 23, 2026

公开日

Oct 20, 2026

IPC 分类

G06N 3/042 (2023.01)G06N 3/063 (2023.01)G06N 5/04 (2023.01)G06N 3/0442 (2023.01)

本公开提供了混合专家模型算子数据预处理方法、装置及电子设备,涉及人工智能技术领域,具体实现方案为:对混合专家模型输入令牌的路由信息中的令牌索引序列执行路由解码与有效性验证,得到有效性掩码、有效索引序列及重排后路由权重;根据有效性掩码和有效索引序列,生成重排序张量;以目标处理器线程块行数为粒度逐块检测重排序张量的零值填充行,生成非零行计数张量,并结合重排后路由权重和路由信息中的专家编号序列,跳过零值填充行的数据加载与运算,得到有效计算结果;最后对有效计算结果执行逆重排序及顺序恢复,得到模型算子输出数据。由此,显著提升目标处理器缓存命中率与显存带宽利用率,消除零值填充行的冗余计算,降低线程分化。

登录后阅读全文

已显示权利要求 1。免费注册即可阅读全部 17 项权利要求、说明书全文、全部附图、翻译和法律状态。

  • 全部权利要求
  • 技术领域
  • 背景技术
  • 发明内容
  • 附图说明
  • 具体实施方式