用于注释视频的说明文字添加的流水线

本公开涉及为视频添加说明文字，提供了用于生成视频说明文字和注释的技术和相关流水线。一个方面包括一种为视频添加说明文字的方法，所述方法包括：接收待添加说明文字的视频；将所述视频分割成多个片段；对于每个片段，生成包括所述片段中的多个帧的图像网格；对于每个图像网格，使用生成式多模态模型来生成描述图像网格的图像网格说明文字；以及使用所述生成式多模态模型或生成式语言模型来合并所述图像网格说明文字，从而为所述视频生成合并说明文字。