基于跨模态Transformer的术中二维/三维图像配准方法及系统

本发明涉及计算机视觉技术领域，特别是一种基于跨模态Transformer的术中二维/三维图像配准方法及系统。所述方法包括：获取术前三维CT体数据、术中二维X射线图像并进行处理后输入至预训练的跨模态Transformer配准模型中；通过双编码器结构提取所述CT体数据的体token序列和所述二维X射线图像的图像token序列，并提取表征患者整体解剖结构的全局嵌入向量；利用非对称图像中心跨模态解码器，仅对所述图像token序列执行自注意力操作，输出图像对齐几何token序列；将所述图像对齐几何token序列与所述全局嵌入向量进行聚合，预测所述二维X射线图像采集时刻相对于CT体坐标系的六自由度刚体位姿参数；提高二维/三维图像配准的精度，提升单张X射线位姿回归的跨患者泛化能力。