一种基于CLIP和扩散模型的快速零样本分类方法及系统

本发明公开了一种基于CLIP和扩散模型的快速零样本分类方法及系统，涉及图像分类技术领域，尤其在医疗诊断等对分类精度、泛化能力及噪声鲁棒性要求较高的领域具有显著应用价值。包括：给定输入图像x和一组潜在的条件输入，首先使用CLIP模块计算图像文本相似度。接下来，引入Filter模块，该模块具有先进的对齐机制，可优化与扩散模型的协同作用。Filter模块根据相似度选择前两个类别。在对齐和映射所选类别的特征之后，这些特征被送入扩散模型。模型计算噪声和预测噪声之间的差异，以进一步预测分类结果。本发明能显著提升零样本图像分类任务的准确度与生成速度。