CNIPA.AI
검색으로 돌아가기
기록

面向灾害场景的负样本挖掘增强的无人机图文检索方法

발명유효
1조회수
10청구항 · 4 독립항
§ Ⅰ

개요

발명자

袁媛; 高君宇; 李增熠

IPC 분류

G06V 10/774 (2022.01)G06V 10/776 (2022.01)G06V 10/80 (2022.01)G06V 10/82 (2022.01)G06V 20/17 (2022.01)G06V 20/10 (2022.01)G06F 40/284 (2020.01)G06N 3/048 (2023.01)

本申请涉及图文检索技术领域,特别涉及一种面向灾害场景的负样本挖掘增强的无人机图文检索方法,包括:对获取到的成对的图像样本数据和文本样本数据分别进行预处理,并构建训练集;构建粗粒度跨模态对齐模块,粗粒度跨模态对齐模块由包含领域适配器的图像编码器和包含领域适配器的文本编码器组成;构建细粒度难负样本挖掘模块,细粒度难负样本挖掘模块由动量图像编码器、动量文本编码器和对应的动量队列组成;将训练集输入至无人机图文检索模型,使用混合动量损失函数对其进行训练优化至收敛,得到训练完成的模型;将待识别的成对的无人机的图像数据和文本数据输入至训练完成的模型,得到无人机图文检索结果。