一种基于相似度感知裁剪VLM视觉令牌的UI遮挡识别方法

本发明涉及多模态视觉语言大模型优化技术与图像识别领域，具体为一种基于相似度感知裁剪VLM视觉令牌的UI遮挡识别方法，包括：构建软件UI遮挡数据集并对轻量级视觉语言模型进行混合偏好优化微调；对视觉转换器ViT的裁剪：将传入的视觉令牌归一化处理消除长度造成的影响后进行二分序列化，然后通过计算余弦相似性加权作为关键相似度并绑定相似度相近的子图作为视觉令牌的度；根据相似度阈值和视觉令牌的度计算每个令牌的冗余度，根据冗余度排名删除冗余度高的令牌，仅保留关键令牌。大大降低模型视觉推理成本的同时依旧保持对UI遮挡情况识别的高精确度。