在端侧设备上执行的异常行为检测方法、装置及介质

本申请提供了一种在端侧设备上执行的异常行为检测方法、装置及介质，属于人工智能技术领域。包括：获取视觉数据和音频数据；采用基于打包和填充的视觉编码方案处理原始分辨率的视觉数据以提取视觉特征，该方案在不缩放视觉数据的前提下将其转换为固定长度的序列流；提取音频特征；采用时间轴粗对齐和语义细对齐相结合的双阶段机制，对视觉特征和音频特征进行对齐；将对齐后的特征融合并输入至大语言模型解码模块，以生成异常行为检测结果。通过采用原生分辨率处理机制，避免了像素细节丢失，提高了识别准确率；通过精准的视听双模态对齐与融合，提升了检测的可靠性。