一种面向低功耗AR设备的多模态感知与优化方法及系统

本申请公开了一种面向低功耗AR设备的多模态感知与优化方法及系统，所述方法包括：针对AR设备，采集多模态数据、任务需求、资源状态数据和环境数据；通过模型剪枝、参数量化和蒸馏技术对多模态神经网络模型进行轻量化处理；将采集数据输入轻量型多模态神经网络模型进行动态推理，获取多模态识别结果；包括：基于任务需求与环境数据执行模态自适应权重获取；根据设备资源状态数据执行能耗约束调度，动态选择推理路径策略并获取对应的模态特征输出；进行多模态特征融合，完成任务推理，获取多模态识别结果；且在推理过程中基于中间层置信度阈值执行早退控制；交互输出实时多模态识别结果。本申请能够实现能效与精度平衡、多模态融合的低功耗优化。