元の名称記録: 贵州师范大学; 贵州省气象数据中心

本发明公开了一种基于HRWA‑Conformer的伪造语音检测方法，包括：（1）原始语音输入XLSR(0.3B)提取语音的全局上下文关系；（2）在输入序列前加入三个分类令牌（3）依次输入第一阶段的两个HRWA‑Conformer块，通过混合注意力机制和多核卷积操作捕捉语音的时序关系和局部特征；（4）从第二个HRWA‑Conformer块中输出一个分类令牌；（5）输入池化层提取紧凑且信息丰富的特征表示；（6）重复第一阶段的工作两次；（7）聚合分类令牌和最后的输出并通过分类器。本发明该方法在ASVspoof 2021数据集上取得了优异的检测性能，具有较高的实际应用价值。

本发明属于人工智能技术领域，公开了一种基于对比学习的面向视觉‑语言预训练模型生成可迁移对抗样本方法，包括针对视觉‑语言预训练模型数据增强得到的图像‑文本对集合进行区分，得到正样本集合和负样本集合；在正样本引导对抗样本生成过程中，引入负样本进一步丰富对抗样本多样性，从而最大限度地实现跨模态交互；在对抗样本迭代生成过程中，通过结合正样本学习、负样本学习和对比学习三种不同类型的学习方式，引导生成可迁移性的视觉‑语言预训练模型对抗样本。其中，通过融合三种学习方法生成的对抗样本在不同的视觉‑语言预训练模型和不同的视觉‑语言预训练模型下游任务中表现出更好的可迁移性。