一种基于多尺度时序特征交互的时空动作检测方法

本发明提出了一种基于多尺度时序特征交互的时空动作检测方法。时空动作检测旨在从未剪辑的视频中识别动作发生的时间和位置定位，及动作的类别。大部分的时空动作检测方法更多关注动作的空间建模，探究动作人物和环境中其他物体的交互。对时间的建模只停留在单一尺度的简单建模，这通常会导致长期动作的预测不够准确和连贯，因为单一尺度所包含的时间信息有限。首先，通过建立时间特征金字塔，获得不同时间尺度的特征。随后，通过注意力机制实现跨尺度的时间特征交互。为了加强人物特征和背景特征的空间交互，通过引入空洞卷积，使模型获得了更大尺度的感受野。本发明在时间和空间上都实现了多尺度的交互，准确地预测了动作的时间边界和空间位置。