基于渐进式模态解耦的密集视频描述方法

本发明提供一种基于渐进式模态解耦的密集视频描述方法，涉及数据处理技术，根据训练视频获取模型训练的初始多模态数据；基于训练视频的时间边界数据对初始多模态数据的视觉特征数据进行时间定位处理，得到几何边界感知增强的多模态数据；设计模态感知因子，基于模态感知因子和语义转换线索对训练视频进行语义边界解耦处理，得到最终多模态特征数据；基于交叉注意力自回归机制对所述最终多模态特征数据进行描述生成处理，生成事件描述数据，并基于时间顺序对所述事件描述数据进行排序，生成事件描述序列，可以使模型在训练过程中平衡利用多种信息，增强事件边界感知能力，提高生成视频描述的准确性。