在移动捕获中融合音频、视觉和传感器上下文信息

所公开的系统和方法包括上下文检测模块，该上下文检测模块检测移动设备的环境的当前上下文。基于检测到的上下文来确定分别由设备的麦克风和相机在环境中捕获的音频和图像的音频和视频处理。上下文检测模块包含至少一个音频分类器和至少一个视觉分类器。在一些实施例中，上下文检测模块可以被扩展成使用传感器信息来代替或补充音频信息和视觉信息。所捕获的音频信息、视觉信息和传感器信息基于音频分类器、视觉分类器的输出以及与传感器信息相关联的时间戳在时间轴上对齐。使用一种或多种融合方法来组合上下文检测结果。