一种跨模态的内窥镜手术图像文本描述生成方法及系统

本发明属于图像数据处理与生成技术领域，尤其为一种跨模态的内窥镜手术图像文本描述生成方法及系统。包括场景特征提取模块，用于并行处理内窥镜手术图像，提取手术场景的全局和局部视觉特征；实例编码模块，用于精确识别内窥镜手术图像中的手术器械、组织器官等关键对象，生成对应的分类信息并编码成图像类别特征；跨模态融合模块，通过自适应的通道叠加方式，对图像类别特征与全局视觉特征进行跨模态的特征融合；文本描述模块，用于对跨模态融合特征进行解码，生成内窥镜手术图像的文本描述。本发明通过跨模态特征融合技术，有效结合手术场景中的器械类别语义信息与全景视觉信息，提升了内窥镜手术图像处理的准确性和分析的完整性。