一种内窥镜多模态视频数据的处理方法、系统及存储介质

本发明公开一种内窥镜多模态视频数据的处理方法、系统及存储介质，涉及人工智能与医学图像分析领域。该方法获取同一内窥镜检查中的白光、荧光伪彩和原生荧光三路视频数据，按统一的时间索引和空间网格划分为相互对应的时空数据单元；以白光视频编码器为教师、荧光伪彩视频编码器为学生，构建跨模态特征约束以更新后者；再以荧光伪彩视频编码器为教师、原生荧光视频编码器为学生，按荧光可靠性权重对特征差异加权得到局部跨模态蒸馏目标以更新后者；将三路对应特征组成三模态特征组，输入三模态融合网络得到三模态融合特征，用于病灶区域的特征分析。该方法利用三路视频数据的递进关联，减少荧光数据量有限的影响，使蒸馏集中于荧光可靠的位置。