一种音频语言模型的安全防御方法及装置

本申请提供了一种音频语言模型的安全防御方法及装置，所述安全防御方法包括：基于每个音频样本数据的梅尔频率单元和模型参数，确定每个梅尔频率单元的敏感度分数；基于敏感度分数，确定梅尔梯度稀疏掩码分布数据；基于梅尔梯度稀疏掩码分布数据和模型参数，对初始扰动参数进行迭代优化，确定目标扰动参数；响应于接收到实时音频数据，基于目标扰动参数和梅尔梯度稀疏掩码分布数据，对实时音频数据施加对应扰动，确定目标梅尔频谱图，以使目标音频语言模型基于目标梅尔频谱图推理生成应答信息。通过上述方法，实现音频语言模型对越狱攻击的有效防御，同时稳定保留音频语言模型在良性任务上的性能，进而提高了音频语言模型的鲁棒性和可用性。