北京数字精准医疗科技股份有限公司

本发明提供一种采用分区摄像和图像校调的三维荧光电子内窥镜光学系统，包括主镜筒，内设左路光学系统和右路光学系统，分别包括：物镜，用于接收物体影像并进行初步成像；分光棱镜，将经物镜成像后的入射光束分成白光波段和近红外波段；CMOS图像传感器，其感光区域划分为白光成像区域和荧光成像区域；图像处理器，将两路光学系统的影像合成为三维图像数据；光轴校正模块，用于通过调整分光棱镜或光学元件的姿态或位置，动态改变左、右两路成像光轴的水平或垂直偏移量。本发明通过CMOS分区同焦面同步成像实现无频闪、高帧率的双波段采集，在保持结构紧凑的前提下实现左右光路精准对准和双波段精确配准，提升了3D观测舒适度与成像稳定性。

本发明提供一种基于混合滤波的实时图像增强方法，包括获取白光图像并提取其亮度通道Y的图像数据；对于亮度通道Y图像中的每一个待处理像素点进行处理；遍历完成亮度通道Y图像的所有像素点后，合成最终增强图像。本发明可以解决现有基于深度学习的图像增强方法计算复杂、难以在嵌入式平台上实时运行的问题，能帮助外科医生在术中获取细节更丰富、特征更明显的白光图像，从而提高手术的精准度和安全性。

本发明公开一种内窥镜多模态视频数据的处理方法、系统及存储介质，涉及人工智能与医学图像分析领域。该方法获取同一内窥镜检查中的白光、荧光伪彩和原生荧光三路视频数据，按统一的时间索引和空间网格划分为相互对应的时空数据单元；以白光视频编码器为教师、荧光伪彩视频编码器为学生，构建跨模态特征约束以更新后者；再以荧光伪彩视频编码器为教师、原生荧光视频编码器为学生，按荧光可靠性权重对特征差异加权得到局部跨模态蒸馏目标以更新后者；将三路对应特征组成三模态特征组，输入三模态融合网络得到三模态融合特征，用于病灶区域的特征分析。该方法利用三路视频数据的递进关联，减少荧光数据量有限的影响，使蒸馏集中于荧光可靠的位置。