一种面向端侧用户采集数据异常识别的边侧多模态模型轻量化优化方法及系统

本发明公开了一种面向端侧用户采集数据异常识别的边侧多模态模型轻量化优化方法及系统，属于电力物联网技术领域。本发明方法，包括：在云侧，将预训练后的CLIP模型输出的特征数据作为输入，对所述Adapter模型进行微调；获取CLIP‑Adapter模型；将CLIP‑Adapter模型部署至边侧智慧能源网关中，在所述CLIP‑Adapter模型进行在线推理时，对CLIP‑Adapter模型中的CLIP模型冻结骨干网络模型参数，并基于面向端侧用户的电力设备实时采集数据，采用前向零阶优化方法更新CLIP‑Adapter模型中Adapter模型的模型参数，以对边侧多模态模型进行轻量化的优化。本发明的应用有效的解决了边侧模型动态优化难、资源消耗大的技术问题，从而有效提升用电侧场景下智慧能源网关的异常识别能力与业务响应速度。