面向边缘计算的轻量化多模态融合硬件协同系统及其方法

本公开提供一种面向边缘计算的轻量化多模态融合方法。所述方法包括：S1，通过多模态数据采集模块分别采集视觉模态数据和IMU模态数据，所述视觉模态数据为RGB图像帧，所述IMU模态数据为加速度数据和角速度数据序列；S2，将所述RGB图像帧通过DMA送入可重构的卷积与RCA硬件加速模块内的轻量化卷积主干网络，提取多尺度视觉特征图；S3，在CPU主控模块上对所述加速度数据和角速度数据序列进行预处理后，输入小规模多层感知机（MLP）网络，提取紧凑的IMU时序动态特征向量；S4，所述CPU主控模块将所述IMU时序动态特征向量发送至所述RCA硬件加速模块内的稀疏跨模态注意力模块以所述IMU时序动态特征向量为查询，对所述多尺度视觉特征图进行加权处理，生成融合特征；S5，将所述融合特征输入全连接层进行处理，输出多模态融合结果。