上海复瞰科技有限公司

本发明涉及一种跨尺度多模态的图像融合方法及系统。其中，该方法包括：获取多模态图像数据，对所述多模态图像数据进行时空同步与全局透视对齐；利用通道维度封装图像数据，生成多模态图像的输入张量；通过嵌套瓶颈特征提取，生成原始模态特征图；聚合多感受野全局上下文信息，同时接入并行空间注意力模块，输出多尺度特征金字塔集合；将红外、可见光的多尺度特征沿通道进行拼接，结合动态卷积进行动态门控融合，生成单尺度基础融合特征；修复尺度语义断层，输出跨尺度融合特征；将融合特征输入解耦检测头，优化图像重构、目标分类与框回归任务；基于优化结果进行亚像素像素映射重建，输出跨尺度多模态融合图像；实现了跨尺度多模态的图像融合。

本发明涉及一种基于FPGA硬加速的视频拼接融合方法及系统，属于视频拼接技术领域。其中，该方法包括：对各视频通道的多路同步视频流执行逐像素节拍对齐；对对齐后的所述多路同步视频流进行像素级光度均衡，生成光度一致视频流并写入片外存储介质；对所述光度一致视频流执行逆向投影递推，基于目标分块空间预测寻址包络控制所述片外存储介质以连续长突发方式读取数据，转存至片内存储矩阵后经并行插值获得几何矫正视频流；获取二值拼缝掩码，对二值拼缝掩码与几何矫正视频流执行多尺度频率分解与自适应加权融合，并经延迟补偿与饱和钳位重构后，输出全景拼接视频流。本发明降低了FPGA实现全景拼接的片外带宽需求与片内资源消耗。