CNIPA.AI
검색으로 돌아가기
기록

多粒度特征融合的跨模态遥感图文对比学习方法及装置

발명유효
1조회수
10청구항 · 4 독립항
§ Ⅰ

개요

발명자

任仲乐; 谢朝阳; 张诚; 徐常惠; 李卫斌

IPC 분류

G06F 18/25 (2023.01)G06N 3/0895 (2023.01)G06V 10/44 (2022.01)G06F 18/213 (2023.01)G06N 3/09 (2023.01)G06F 18/22 (2023.01)G06F 40/30 (2020.01)G06F 18/21 (2023.01)G06N 3/045 (2023.01)

本发明公开了多粒度特征融合的遥感图文对比学习方法及装置,包括获取遥感图像‑文本对数据集,所述数据集包括遥感图像、遥感图像‑长文本描述数据集和遥感图像‑短文本描述数据集;搭建多粒度特征融合的跨模态遥感图文对比学习网络;使用遥感图像‑文本对数据集划分出的训练集对多粒度特征融合的跨模态遥感图文对比学习网络进行训练,得到优化学习网络;使用遥感图像‑文本对数据集划分出的测试集对优化学习网络进行性能评估,得到评估结果。本发明支持长短文本混合输入、粗细粒度并行对齐、特征级联合优化的多粒度特征融合方法。在提升对复杂遥感场景的理解能力的同时,有效增强了模型在图文检索、语义分析等跨模态任务中的准确性与适应性。