검색으로 돌아가기
기록
基于运动矢量的VLM追踪方法、装置、设备和可读介质
발명유효
3조회수
10청구항 · 4 독립항
§ Ⅰ
개요
발명자
王文兵
IPC 분류
G06T 7/246 (2017.01)G06V 10/764 (2022.01)G06V 10/82 (2022.01)G06V 10/44 (2022.01)G06N 3/0455 (2023.01)G06N 3/09 (2023.01)G06N 3/096 (2023.01)
本公开的实施例公开了基于运动矢量的VLM追踪方法、装置、设备和可读介质。该方法的一具体实施方式包括:获取编码的视频流;对所获取的视频流进行解码,以及,在解码过程中提取视频流中每个帧对应的运动矢量信息;对于视频流中各个帧的每个帧,执行以下检测追踪处理的步骤:响应于当前帧为关键帧,基于视觉语言模型对当前帧进行目标检测,得到当前帧对应的检测框信息;响应于当前帧为非关键帧,根据上一帧对应的检测框信息或追踪框信息以及当前帧对应的运动矢量信息,对当前帧进行追踪预测,得到当前帧对应的追踪框信息。该实施方式通过关键帧与非关键帧不同的处理策略,并复用解码过程中的运动矢量信息,实现了对多目标较高效且稳定的检测与追踪。