那些网站可以做信息推广,服务器在哪里,数字济南建设,陕西交通建设集团西镇分公司网站分类目录#xff1a;《深入理解联邦学习》总目录 作为一种全新的技术#xff0c;联邦学习在借鉴一些成熟技术的同时也具备了一定的独创性。下面我们就从多个角度来阐释联邦学习和其他相关概念之间的关系。
联邦学习与差分隐私理论的区别
联邦学习的特点使其可以被用来保护用…分类目录《深入理解联邦学习》总目录 作为一种全新的技术联邦学习在借鉴一些成熟技术的同时也具备了一定的独创性。下面我们就从多个角度来阐释联邦学习和其他相关概念之间的关系。
联邦学习与差分隐私理论的区别
联邦学习的特点使其可以被用来保护用户数据的隐私但是它和大数据、数据挖掘领域中常用的隐私保护理论如差分隐私保护理论DifferentiaI Privacy、K匿名K-Anonymity和L多样化L-Diversity等方法还是有较大的差别的。首先联邦学习与传统隐私保护方法的原理不同联邦学习通过加密机制下的参数交换方式保护用户数据隐私加密手段包括同态加密等。与DifferentiaI Privacy不同其数据和模型本身不会进行传输因此在数据层面上不存在泄露的可能也不违反更严格的数据保护法案如GDPR等。而差分隐私理论、K匿名和L多样化等方法是通过在数据里加噪音或者采用概括化的方法模糊某些敏感属性直到第三方不能区分个体为止从而以较高的概率使数据无法被还原以此来保护用户隐私。但是从本质上来说这些方法还是进行了原始数据的传输存在着潜在被攻击的可能性并且在GDPR等更严格的数据保护法案下这种数据隐私的保护方式可能不再适用。与之对应的联邦学习是对用户数据隐私保护更为有力的手段。
联邦学习与分布式机器学习的区别
横向联邦学习中多方联合训练的方式与分布式机器学习Distributed Machine Learning有部分相似的地方。分布式机器学习涵盖了多个方面包括把机器学习中的训练数据分布式存储、计算任务分布式运行、模型结果分布式发布等参数服务器Parameter Server是分布式机器学习中一个典型的例子。参数服务器作为加速机器学习模型训练过程的一种工具它将数据存储在分布式的工作节点上通过一个中心式的调度节点调配数据分布和分配计算资源以便更高效的获得最终的训练模型。而对于联邦学习而言首先在于横向联邦学习中的工作节点代表的是模型训练的数据拥有方其对本地的数据具有完全的自治权限可以自主决定何时加入联邦学习进行建模相对地在参数服务器中中心节点始终占据着主导地位因此联邦学习面对的是一个更复杂的学习环境其次联邦学习则强调模型训练过程中对数据拥有方的数据隐私保护是一种应对数据隐私保护的有效措施能够更好地应对未来愈加严格的数据隐私和数据安全监管环境。
联邦学习与联邦数据库的关系
联邦数据库系统Federated Database System是将多个不同的单元数据库进行集成并对集成后的整体进行管理的系统。它的提出是为了实现对多个独立的数据库进行相互操作。联邦数据库系统对单元数据库往往采用分布式存储的方式并且在实际中各个单元数据库中的数据是异构的因此它和联邦学习在数据的类型与存储方式上有很多相似之处。但是联邦数据库系统在各个单元数据库交互的过程中不涉及任何隐私保护机制所有单元数据库对管理系统都是完全可见的。此外联邦数据库系统的工作重心在包括插入、删除、查找、合并等各种数据库基本操作上面而联邦学习的目的是在保护数据隐私的前提下对各个数据建立一个联合模型使数据中含的各种模式与规律更好地为我们服务。
联邦学习与区块链的关系
区块链是一个基于密码学安全的分布式账本其方便验证不可篡改。区块链2.0是一个去中心化的应用通过使用开源的代码及分布式的存储和运行保证极高的透明度和安全性使数据不会被篡改。区块链的典型应用包括比特币BTC、以太坊ETH等。区块链与联邦学习都是一种去中心化的网络区块链是一种完全P2P的网络结构而在联邦学习中第三方会承担汇聚模型、管理等功能。联邦学习与区块链中均涉及到密码学、加密算法等基础技术。根据技术的不同区块链技术使用的加密算法包括哈希算法非对称加密等联邦学习中使用同态加密等。从数据角度上看区块链上通过加密的方式在各个节点上记录了完整的数据而联邦学习中各方的数据均仅保留在本地。从奖励机制上看区块链中不同节点之间通过竞争记账来获得奖励在联邦学习中多个参与方通过共同学习提高模型训练结果依据每一方的贡献来分配奖励。
联邦学习与多方安全计算的关系
在联邦学习中用户的隐私与安全是重中之重。为了保护用户隐私防止联邦学习应用被恶意方攻击多方安全计算技术可以在联邦学习中被应用成为联邦学习技术框架中的一部分。学术界已经展开利用多方安全计算来增强联邦学习的安全性的研究。McMahan指出联邦学习可以通过差分隐私多方安全计算或它们的结合等技术来提供更强的安全保障。Bonawitz指出联邦学习中可以利用多方安全计算以安全的方式计算来自用户设备的模型参数更新的总和。Truex提出了一种利用差分隐私和多方安全计算来保护隐私的联邦学习方法。Liu提出将加性同态加密AHE应用于神经网络的多方计算。微众银行提出的开源联邦学习框架FATE中包含了多方安全计算的相关算子方便应用方对多方安全计算进行高效的开发。
参考文献 [1] 杨强, 刘洋, 程勇, 康焱, 陈天健, 于涵. 联邦学习[M]. 电子工业出版社, 2020 [2] 微众银行, FedAI. 联邦学习白皮书V2.0. 腾讯研究院等, 2021
