基于监控视频的多模态人员识别方法、装置及介质

本发明公开了基于监控视频的多模态人员识别方法、装置及介质，方法包括：基于人体识别模型、人脸识别模型对当前视频帧图像进行识别以得出人体框集合和人脸框集合；基于多目标跟踪算法对所有视频帧图像进行跨帧关联以得出多条运动轨迹；根据每个运动轨迹的所有人体框构建人体关键帧池；根据当前视频帧图像的人体框集合和人脸框集合将当前视频帧图像中的每个人脸框映射到对应人体框，进而得出每条运动轨迹的所有人脸框并构建人脸关键帧池；在对应模态下基于关键帧检索的Top‑K软投票和关键帧池确定每条运动轨迹的身份；根据每条运动轨迹的身份、人脸框集合和人体框集合生成输出结果。本发明提高复杂监控场景中人员识别的准确率。