联邦学习投毒攻击防御与追溯系统
当前,保护数据的隐私和安全已经成为世界性的热点,各国都在加强对数据安全和隐私的保护。近年来,国家相继出台个人信息保护的标准和政策,旨在加强隐私保护。为了在符合相关法规的前提下使用数据,部分研究者尝试令各方数据保留在本地的同时训练全局模型,如 Google 提出的联邦学习。作为一种加密的分布式机器学习技术 , 联邦学习能够让参与各方在不披露底层数据和底层数据加密 ( 混淆 ) 形态的前提下,仍然能利用其余几方参与者提供的信息,更好地训练联合模型,提升 AI 模型效果。
然而,将数据留在本地的方式却也引发其他问题,如针对联邦模型的投毒攻击。投毒攻击通过攻击训练数据集或算法来操纵机器学习模型的预测,使分类器识别特定样本的分类边界发生变化。而联邦学习场景下的投毒攻击通常拥有更强的隐蔽性和破坏性。
因此,我们将传统投毒攻击防御中对原始数据的清洗过程转变至对上传的模型权重参数的预处理,在参数服务器部署防御框架来防御投毒攻击。我们设计了一种新颖的防御与追溯框架,该框架主要由模型聚类、初步防御和细化防御三个模块构成,构建多层纵深防御体系,保护联邦模型安全,并在源头上主动追溯攻击者。我们设计面向神经网络的无监督层级聚类算法,消除了神经网络中隐含元素置换不变性的影响。根据类内代表模型在聚合过程中的贡献度确定其可疑度,并以动量思想将可疑度绑定每个客户端,并结合历史用户行为对攻击者进行定位。我们的防御框架可以自主评估模型贡献度,自动确定可疑度动态划分阈值,并在图像、文本等多源数据集上达到了 100% 追溯率,实现了零漏检,零误检。
目前,成果性能已经过多方测试和验证,代码已部署在华为自研深度学习框架MindSpore 中,进一步为广大开发者所用。
西安电子科技大学
2023-01-18