基于自适应注意力量化Transformer的细粒度视觉分类方法与系统

本发明公开了一种基于自适应注意力量化Transformer的细粒度视觉分类方法与系统，系统包含自适应量化选择模块、背景消除模块和动态混合优化模块。自适应量化选择模块通过引入全局且可学习的阈值，采用二进制量化方式对多个注意力头的注意力得分进行动态选择，选出最具区分性的特征，有效减少聚焦于非区分性标记的注意力头对区分性区域关注的稀释。同时，采用了直通估算器进行离散优化，实现了梯度反向传播。背景消除模块则去除了包含背景信息的特征，从而消除了背景噪声的干扰。动态混合优化模块则动态优化并整合了选择与消除分支，以实现最优的分类效果。实验证明，该方法在细粒度视觉分类任务上达到了当前先进性能。