Back to Search
Dossier
结合模态信息可信度的多模态图像优化融合方法及装置
InventionActive
5views
10Claims · 5 independent
§ Ⅰ
Dossier Overview
Inventor
邢宇翔; 杜雨萱; 张昊宇; 唐裕胜; 朱晓豪; 陈昶羽; 沈乐; 白云鹍; 杜牧歌; 邹翔
IPC Classification
G06V 10/80 (2022.01)G06V 10/82 (2022.01)G06V 10/26 (2022.01)G06N 3/0455 (2023.01)G06N 3/08 (2023.01)
本申请涉及一种结合模态信息可信度的多模态图像优化融合方法及装置，其中，方法包括：通过第一阶段：与下游多类别分割任务协同优化的各模态图像表征特征提取和可信度地图估计/反馈；第二阶段：基于第一阶段的图像表征和可信度指导，训练多模态图像特征级的信息融合和图像解码；第三阶段：多模态图像融合效果的实际推断。由此，解决了现有的图像融合难以契合下游任务和模态的物理性质，无法实现图像特异化地细粒度特征提取同时服务于融合和下游分割任务等问题。
External Resources