검색으로 돌아가기
기록
多模态语义融合的图像与文本关联性动态分析方法及系统
발명유효
9청구항 · 2 독립항
§ Ⅰ
개요
출원인
成都云览科技有限公司
발명자
关磊
IPC 분류
G06F 18/20 (2023.01)G06F 18/25 (2023.01)G06F 18/22 (2023.01)G06F 18/27 (2023.01)G06N 3/0455 (2023.01)G06N 3/0464 (2023.01)G06N 3/0442 (2023.01)G06N 3/084 (2023.01)G06N 3/0985 (2023.01)G06V 10/82 (2022.01)G06V 20/70 (2022.01)G06F 40/284 (2020.01)G06F 40/30 (2020.01)G06F 16/583 (2019.01)G06F 16/535 (2019.01)G06F 16/532 (2019.01)G06F 16/51 (2019.01)G06Q 30/0601 (2023.01)G06N 3/048 (2023.01)G06F 123/02 (2023.01)
本发明提供了多模态语义融合的图像与文本关联性动态分析方法及系统，属于多模态数据处理技术领域，方法包括对图像和文本数据预处理、特征提取、双向交叉注意力机制生成融合语义向量、时序注意力长短期记忆网络计算动态关联性分数以及组合损失函数端到端训练。本发明能够通过双向交叉注意力机制实现图像与文本特征精准对齐，提升跨模态匹配准确性，并利用时序建模增强动态关联性分析能力，解决现有技术中特征编码适配性不足和时序建模能力有限的问题。