近日，以计算机学院2024级博士研究生张莉琳为第一作者，杨宁副教授为通信作者的论文“Weakly Supervised Contrastive Adversarial Training for Learning Robust Features from Semi-supervised Data”被国际计算机视觉与模式识别会议（The IEEE/CVF Conference on Computer Vision and Pattern Recognition, CVPR 2025）录用。CVPR是是人工智能领域的顶级会议之一，在学术界和产业界享有极高的声誉，是中国计算机学会推荐的A类会议。
【背景和目标问题】
尽管现有的对抗训练方法取得了显著成功，但它们仍然面临一个关键挑战：鲁棒特征的学习。研究表明，对抗样本的存在源于自然数据中非鲁棒特征的存在。这些非鲁棒特征可能与标签具有统计相关性，并且可以通过对抗样本进行修改。相反，鲁棒特征与标签之间具有强因果相关性，因此在对抗样本的扰动下保持不变。然而，现有的对抗训练方法通常在由范数约束指定的ϵ-球内盲目搜索对抗扰动，这可能导致不完全扰动，即并非所有非鲁棒特征都有机会被扰动。未扰动的非鲁棒特征会导致这些特征与标签之间的相关性仍然存在，从而无法被目标分类器剔除，最终导致对抗鲁棒性显著下降。
【挑战】
实现完全扰动在现实世界中面临两大挑战：首先，鲁棒/非鲁棒特征无法显式识别，因为没有关于这些特征位置的监督信号；其次，标注数据的稀疏性进一步加剧了鲁棒/非鲁棒特征的不可识别性。
【方法】
为了应对这些挑战，本文提出了一种新颖的弱监督对比对抗训练（WSCAT）方法，该方法能够利用部分标注数据帮助目标分类器提取鲁棒特征。具体而言，首先注意到自然数据和对抗数据嵌入之间的互信息衡量了需要保留的相关性量，最小化这种互信息可以阻断非鲁棒特征与标签之间的相关性。基于这一观察，论文提出了一种基于信息论的完全对抗样本生成方法，通过在对抗样本的优化中引入额外的互信息约束来搜索完全扰动。进一步，我们用弱监督动态损失替代难以计算的互信息，以实现完全对抗样本生成。该弱监督动态损失将当前目标分类器的预测结果与InfoNCE损失结合，动态反映非鲁棒特征与标签之间的相关性，而无需依赖标签。
图片
【创新】
1. 问题识别：论文指出了现有对抗训练方法中不完全扰动的问题，即并非所有非鲁棒特征在对抗样本生成过程中都被扰动，这阻碍了鲁棒特征的学习，导致目标分类器的对抗鲁棒性不理想。
2. 方法创新：论文提出了一种名为弱监督对比对抗训练（WSCAT）的新方法。WSCAT通过阻断非鲁棒特征与标签之间的相关性，在半监督数据集上实现鲁棒特征的学习，并在部分标注数据上以弱监督方式生成完全对抗样本。
3. 理论分析与实验验证：论文进行了扎实的理论分析和广泛的实验，验证了WSCAT在多个广泛采用的基准数据集上的优越性。