一种多模态物联网现场计算AI网关

本发明涉及物联网网关技术领域，具体为一种多模态物联网现场计算AI网关，网关包括：多模态数据本地化处理模块，用于根据采集的视频帧序列、音频信号和传感器读数，将视频帧序列分解为单帧图像，应用卷积运算提取图像特征并与预设目标特征库比对，对音频信号进行傅里叶变换提取梅尔频率倒谱系数。本发明中，依据时间戳关联多模态信息以识别复合突变事件，不仅实现了对原始数据的即时分析与关键事件提炼，还降低了对网络带宽的占用和云端计算的依赖，网关之间不再孤立运行，而是通过仅交换本地模型更新参数而非原始数据的方式进行协同，构建了分布式智能体网络，解决了敏感信息泄露的风险。