検索に戻る
案件記録

视频动作识别模型训练方法、视频动作识别方法和装置

発明有効
13請求項 · 7 独立
§ Ⅰ

案件概要

発明者

张云庚; 常远; 时晓厚; 宋雅奇; 王宇桐

IPC分類

G06V 40/20 (2022.01)G06V 20/40 (2022.01)G06V 10/82 (2022.01)G06N 3/0455 (2023.01)G06V 10/764 (2022.01)G06V 10/774 (2022.01)G06N 3/08 (2023.01)G06V 10/74 (2022.01)

本申请涉及一种视频动作识别模型训练方法、视频动作识别方法和装置。所述方法包括:获取样本视频帧图像和样本视频帧图像对应的动作类别描述文本,将样本视频帧图像和动作类别描述文本,输入待训练的识别模型,由识别模型中的图像编码器根据预先设置的视觉提示向量和样本视频帧图像,生成样本视频帧图像对应的视频嵌入,以及由识别模型中的文本编码器基于预先设置的文本提示向量和动作类别描述文本,生成动作类别描述文本对应的文本嵌入,根据视频嵌入和文本嵌入作为正样本对构造双向对比损失,并基于双向对比损失对视觉提示向量和文本提示向量进行更新,以得到训练完成的识别模型。采用本方法能提高视频动作识别准确度。

外部リソース