基于混合专家模型的多模态端边协同系统和方法

本申请公开了一种基于混合专家模型的多模态端边协同系统和方法，该系统包括：多模态数据采集器，用于采集原始多模态数据；共享特征提取器，用于对原始多模态数据进行特征提取，得到中间特征；特征压缩编码器，用于对中间特征进行压缩，得到最终压缩特征，发送至边缘服务器；特征恢复解码器，用于对最终压缩特征进行高保真恢复，得到重建特征图；网格级稀疏MoE模块，用于基于重建特征图、预设网格级稀疏混合专家模型，输出推理结果；特征重要性分析模块，用于构建网格级重要性图，基于网格级重要性图进行求解，生成自适应传输决策。采用本申请实施例，为资源受限网络中的多模态大小模型协同部署提供了可行的系统性解决方案。