一种基于动态时轴漂移校正与反事实模态验证的音视频事件解析方法

本发明涉及一种基于动态时轴漂移校正与反事实模态验证的音视频事件解析方法。方法包括：获取待解析音视频数据，对音频流进行音频片段划分并提取多粒度听觉特征；生成候选语义锚点并构建跨模态语义锚点图，对跨模态语义锚点图执行带顺序约束的路径搜索，并依据选定锚点对估计随时间变化的分段单调时钟映射，分段单调时钟映射用于将音频时刻映射至视频时刻；根据分段单调时钟映射对音频特征进行时间轴校正，并基于校正后的音频特征与视频特征生成事件候选；对于每个事件候选，构造反事实样本并计算模态贡献与联合增益；根据模态贡献与联合增益确定事件类别和模态归属，对事件候选进行边界校准并输出事件证据包。本发明适用于音视频事件解析。