返回搜索
档案
视频理解模型训练方法、视频处理方法以及相关装置
发明专利有效
15权利要求 · 7 独立
§ Ⅰ
卷宗概要
发明人
常勤伟
IPC 分类
G06V 20/40 (2022.01)G06V 10/82 (2022.01)G06N 5/04 (2023.01)G06N 3/08 (2023.01)
本申请的实施例揭示了视频理解模型训练方法、视频处理方法以及相关装置。该方法包括:获取用于模型训练的视频样本,以及视频样本对应的问题样本;通过在问题样本中增加推理引导文本,以得到推理问题,并将视频样本和推理问题输入至待训练的视频理解模型,得到待训练的视频理解模型输出的回答,该回答包含根据视频样本的视频内容对问题样本进行推理的推理过程以及推理结果;根据问题样本、推理过程以及推理结果生成指令数据,并基于指令数据对待训练的视频理解模型进行微调,以得到训练好的视频理解模型。本申请的实施例能够使得训练好的视频理解模型获得推理能力,针对输入的视频以及问题输出经过推理得到的回答。