검색으로 돌아가기
기록
一种多模态特征编码与跨模态自适应融合方法
발명유효
10청구항 · 1 독립항
§ Ⅰ
개요
발명자
杨志祥; 陈奇武; 熊筠轲; 许文杰; 杨小涛; 程佳斌; 余将其; 方昌坦; 刘育含; 周子涵; 汪家漩; 陈天任; 李仵睿阳
IPC 분류
G06F 18/25 (2023.01)G06N 3/042 (2023.01)G06N 3/0442 (2023.01)G06N 3/045 (2023.01)G06N 3/0455 (2023.01)G06N 3/0464 (2023.01)G06N 3/048 (2023.01)G06N 3/084 (2023.01)G06N 3/0895 (2023.01)G06N 5/022 (2023.01)
本发明提供了一种多模态特征编码与跨模态自适应融合方法,分别从雷达序列数据中提取雷达特征、从雷达目标图像中提取视觉特征、从文本数据中分别提取文本数据和知识图谱数据,并对不同模态的特征进行融合,具体通过统计归一化消除模态间分布差异,然后投影至共享特征空间实现维度统一,最后结合知识图谱引导的语义对齐和输入自适应的动态加权,实现雷达、视觉与文本模态的高效协同。本发明方法有效解决了异构数据融合中的特征异构和语义鸿沟问题。