検索に戻る
案件記録
一种基于混合专家路由的多技能视觉语言动作控制策略压缩与部署方法
発明不明
10請求項 · 2 独立
§ Ⅰ
案件概要
IPC分類
G06V 10/762 (2022.01)G06V 10/774 (2022.01)G06N 3/008 (2023.01)G06N 3/0455 (2023.01)G06N 3/0495 (2023.01)G06N 3/094 (2023.01)G06N 5/04 (2023.01)G06V 20/56 (2022.01)G06V 10/82 (2022.01)
本发明公开了一种基于混合专家路由的多技能视觉语言动作控制策略压缩与部署方法,包括:构建视觉语言动作控制策略模型,包含多模态编码器、双层路由MoE Transformer骨干、动作头、推理调度器和专家管理器;获取多任务训练轨迹并生成任务指纹向量,通过聚类得到多个技能簇,并基于技能簇对多个专家进行技能感知分组;以预训练稠密视觉语言动作教师模型为基础,对经分组后的模型进行稀疏upcycling初始化、路由器预热与联合微调训练;在部署推理阶段,由技能级路由器确定当前激活技能簇集合;由token级路由器在候选专家集合中选择被激活专家,并通过专家管理器进行专家按需加载,最终输出机器人控制动作。本发明能够提高多技能机器人控制策略的部署效率和推理稳定性。
ログインして全文を読む
請求項 1 を表示しています。無料登録で全 10 項の請求項、明細書全文、全図面、翻訳、法的状態を閲覧できます。
- 全請求項
- 技術分野
- 背景技術
- 発明の概要
- 図面の説明
- 発明を実施するための形態
外部リソース