温州网站推广优化公司,高清视频线和音频线的接口类型,营销型网站建设模板下载,深圳市房屋管理局官方网站文章目录 摘要与简介部分1、联邦学习 FL2、同态加密 HE3、文章创新点 一、简介1、基于 HE 的 FLs2、离线问题3、计算开销4、该文章的工作5、文章的贡献点 二、背景和相关研究1、基于多方安全计算 (SMC) 的联邦学习 (FL)2、基于差分隐私 (DP) 的联邦学习 (FL)3、基于可信执行环境… 文章目录 摘要与简介部分1、联邦学习 FL2、同态加密 HE3、文章创新点 一、简介1、基于 HE 的 FLs2、离线问题3、计算开销4、该文章的工作5、文章的贡献点 二、背景和相关研究1、基于多方安全计算 (SMC) 的联邦学习 (FL)2、基于差分隐私 (DP) 的联邦学习 (FL)3、基于可信执行环境 (TEE) 的联邦学习 (FL)4、基于同态加密 (HE) 的联邦学习 (FL)4.1、基于单密钥同态加密的联邦学习4.2、基于多密钥同态加密的联邦学习 三、前言和系统模型 该篇文章是对《SecFed: A Secure and Efficient Federated Learning Based on Multi-Key Homomorphic Encryption》的笔记。 摘要与简介部分
1、联邦学习 FL 联邦学习 (FL) 有效地解决了孤立的 数据孤岛问题因此在各行业中得到了广泛的应用。然而窃听者可以从 密文传输的梯度或模型 推断出用户的隐私。 所谓 “数据孤岛问题”就是指 数据拥有者 不愿意将自己的 私有数据 与其他的用户共享。从而导致在进行机器学习的过程中因为数据集不够而产生训练效果不佳的问题。 为了解决 数据孤岛问题谷歌首先推出了 联邦学习 FL 的概念支持多个实体通过 收集 模型参数更新 来 联合训练模型这些模型由本地数据训练而不暴露个人原始数据。
2、同态加密 HE 同态加密 (HE) 由于其对密文的可计算性可以应用于密文传输中来保护敏感数据。然而传统的 HE 作为一种 单密钥系统无法防止 不诚实的用户 拦截和解密 FL 中合作用户的密文在这种多用户场景下保证隐私和效率仍然是一个具有挑战性的目标。
3、文章创新点
文章提出了一种 基于多密钥 HE 的安全高效的 联邦学习方案 (SecFed)以保护用户隐私并将部分操作委托给 TEE在保证安全性的同时提高效率。 具体而言设计了第一个基于 tee 的 多密钥 HE 密码系统 (EMK-BFV)以支持隐私保护 FL 并优化运行效率。提供了 离线保护机制以确保参与者断开连接时系统的正常运行。通过 综合仿真 和与现有方案的比较给出了它们的 安全性证明并证明了它们的有效性和优越性。 SecFed 的性能比基于 tee 的方案提高了 3倍比基于 he 的方案提高了 2倍。 一、简介 根据现有的研究发现一个关于 FL 的问题即明文传输的梯度或模型也可能会导致隐私的泄露。为了解决该问题经常将各种隐私保护技术应用在 联邦学习中。例如SMC、DP、TEE。
SMC (Secure Multiparty Computation) SMC 通过构建 安全的交互协议来 实现 机密性。但是 SMC 增加了 中央服务器 的 计算开销降低了 通信效率。DP (Differential Privacy) DP 将 噪声 添加到 梯度或模型 中以至于攻击者即使拦截了数据也无法获取 有效信息。但由于 不能有效地控制噪声影响了 FL 的 精度。TEE (Trusted Execution Environment) TEE 提供 硬件级别 的安全保护但是构建这种安全环境通常会带来 额外的开销。 此外由于需要 对密文进行计算在 FL 任务的上下文中使用 轻量级加密算法 会 将原始数据暴露给 第三方服务器从而降低了安全性并增加了隐私暴露的风险。同态加密 HE 可以很好的解决这个问题。 有一些使用了 HE 的隐私保护 FL 框架这些年被陆续提出来 (如下所述)但是他们仍然面对着一些挑战隐私性、鲁棒性、效率。
1、基于 HE 的 FLs 如果 单密钥 HE (SHE) 被应用那么 基于HE的FLs 会将隐私泄露给 合作实体 (实体可以解密其他实体的密文)如《Privacy preserving machine learning with homomorphic encryption and federated learning,》所述。 在一个多实体的系统中如果所有的实体都使用用一个密钥来进行加密那么恶意的实体便可以拦截和解密其他人的数据。所以 多密钥HE (MHE) 应该被应用于 FL 中。
2、离线问题 为了实现更高程度的准确性更多的实体和更多的数据被期待为协同训练提供贡献。上面的 MHE 虽然可以解决 隐私性 问题但是它增加了当 一些用户离线 的时候 数据管理 的难度。 任何用户离线都会导致他人解密失败从而无法获得方案中的聚合结果。 详细请看 论文1所述。 3、计算开销 HE 拥有很高的计算开销。HE 虽然能在不牺牲 准确性 和 高操作开销 的情况下保证隐私。但是与直接在明文上进行操作相比它仍然有一些 计算开销 (这仍然是一个未解之谜)。
4、该文章的工作 为了解决上面说到的三个问题作者首先构建了 多密钥同态加密系统 EMK-BFV该系统基于 BFV 加密系统。 BFV 加密系统 参考《Somewhat practical fully homomorphic encryption》 然后作者将一些在 HE 中 时间开销较大的操作 转移到了 TEE 中为了提高计算效率。 然后作者将 EMK-BFV 部署到 FL 中并通过与 TEE 合作设计了相应的用户离线保护机制来提高 FL系统的 鲁棒性。
5、文章的贡献点
提出了一个名为 SecFed 的创新且强大的 隐私保护 FL 框架。它结合了一种新颖高效的 多密钥 HEEMK-BFV以及一种灵活的 离线保护机制使 协作参与者 能够在 不同密钥 下上传数据以保护数据隐私同时确保系统的 不间断功能即使多达 N-2名 参与者断开连接。提出了首个 基于 TEE 的多密钥 HE 加密系统称为 EMK-BFV来提高 FL 的数据安全性。该系统基于 BFV实际上就是将 BFV 中的一些 时间消耗较大的操作 改成用 TEE 来实现。分析了包括 EMK-BFV 在内的 SecFed 的安全性并通过比较评估了其效率。基于真实数据进行了基于模拟的实验以测试 SecFed的性能。SecFed 与 基于TEE 和 基于HE 的 FL 之间的比较突显了 SecFed 在 效率和隐私保护方面 的卓越性能。 二、背景和相关研究 与中心化的 机械学习 (ML) 不同FL 允许参与的用户通过交换 梯度和模型 而不是 原始数据 的方法来进行 协同训练。
1、基于多方安全计算 (SMC) 的联邦学习 (FL) SMC 允许 多个用户 用他们自己的输入 联合计算 一个模型或函数并保证这些输入的 私密性。SMC 技术 可以实现 梯度或模型的 安全传输和聚合。 然而一些工作证明了在存在 恶意服务器的情况下安全聚合 很难确保 隐私完整性。但是仍然有一些文章提出了基于 半可信服务器 的解决方法。
Bonawitz 等人的研究2 Bonawitz 等人首次构建了 SMC协议 来实现 安全聚合并使用 double-masking 构建了 隐私计算步骤。 然而该方法下的用户之间的必须相互交流和联系这是非常低效的。Bell 等人的研究3 Bell 等人在 Bonawitz 等人工作2的基础上改进了用户之间沟通的方式。将一个用户现需要与 N-1 个用户沟通变成了只需要与 log(N) 个用户沟通。这种在 通信开销 上的减少是通过实现特殊的 数据结构 换来的这将带来新的 存储开销。 该工作4通过 秘密共享 实现了 梯度的安全聚合。但是它附带了 额外的通信轮用于交换 安全聚合所需的参数。如果在较差的通信环境中这些额外的通信会严重影响 模型的收敛速度。FATE FATE5 使用 masking techniques 来保护模型用户需要自己协商生成 masks。interrelated masks 保证了 模型聚合的安全性 和 解密的正确性。但是 FATE 引入了 生成 masks 的开销并且 延长了 资源受限用户的 运行时间。 此外任何 masks 的丢失 都会导致 解密失败。 上面对于三个方法的说明表明基于 SMC 的 FL 方案在 通信开销 和 用户计算开销 方面存在一定的缺点。
2、基于差分隐私 (DP) 的联邦学习 (FL) 差分隐私6 给个人的隐私数据添加 噪声 来提供隐私保护。 这里有两种将 DP 应用到 FL 中的方法
方法一在本地训练之前给用户的 数据集 添加 噪声例如 DPFedAvg-GAN 和 NbAFL。 但是这种方法的 缺点 在于噪声 会对模型的 收敛速度 产生负面影响并降低 模型精度。方法二在模型的 参数 中添加 噪声 或者直接在 用户端的梯度 中添加 噪声例如 Abidi、Hu 等人的研究。 然而 FL 的聚合过程 会造成 噪声的叠加这些噪声是用户难以去除的并且会降低模型的准确率。 Hu 等人的研究 在迭代的过程中给模型添加噪声。这与 Abidi 等人的研究 不同被 不同的用户 加入到模型中的 噪声 会在聚合的过程中相互抵消。 但 模型数据 也会受到这种抵消效应的影响导致 精度降低。 上面的内容说明了基于 DP 的方案 对精度有负面影响。
3、基于可信执行环境 (TEE) 的联邦学习 (FL) TEE 花费 额外的时间 通过 加密内存 来创建和维护一个供程序执行的安全环境。在论文7和论文8中安全内存 确保数据隐私但是会带来额外的开销。 在论文7中使用 TEE 来保护 预测过程这避免了将 复杂的训练过程 转移到 安全内存 中。然而太多的 预测数据 会大大增加 时间开销。 在论文8中将 FL 的聚合过程 迁移到 TEE 中执行这 保护了用户的隐私。但是 内存中频繁的数据交互 导致了 安全内存消耗的增加这带来了巨大的 时间开销。 为了防止论文7和论文8中对 安全内存的过度消耗FAN 等人在 论文9 中使用了一个 贪心算法 对模型进行优化使 TEE 处理的数据 更少避免了昂贵的 分页机制。然而贪心算法的使用 增加了 程序常规部分的 计算开销并没有取得显著的效果。 总的来说如何使用 TEE 来合理的避免 额外时间开销 和 实现效率和安全之间的平衡 非常重要。
4、基于同态加密 (HE) 的联邦学习 (FL) HE 提供了 对密文进行计算 的能力。根据 HE 中 密钥的数量可以将该类型的同态加密分为两类基于单密钥同态加密的联邦学习 和 基于多密钥同态加密的联邦学习。
4.1、基于单密钥同态加密的联邦学习 Paillier 加密系统 作为一种流行的 加法同态加密被广泛用于 水平 FL 中对 梯度或模型 的保护。 论文9 使用 Paillier 对 模型 进行保护同时利用 FPGA 对加密进行优化从而提高了 基于 HE 的方案 的运行效率。 论文10 提出了使用 Paillier 来保护 梯度 的 可验证隐私保护 FL其中 HE 的同态性质用于执行 密文计算 和 服务器操作的认证。 论文11 使用 CKKS 加密系统12 来保护模型。 论文13 利用 HE 保护 特征 在 用户和服务器 之间的传输实现了一种 基于数据垂直分布 的 安全联邦贝叶斯算法。 同态加密算法也被用于保护 迁移学习14。 然而在这些方案中所有用户都持有 一对 用于 数据外包和共享的 密钥这很容易受到 恶意用户 的攻击。单密钥 HE 不适合 FL 中的 多用户场景。
4.2、基于多密钥同态加密的联邦学习 该系统是为了满足多用户场景的要求。多密钥同态加密 被应用于在 联邦学习 中保护 梯度或模型的隐私性。 在论文15中不同的噪声 在密钥生成的时候被添加到用户的 私钥 中。因此用户使用 各种私钥 外包他们的 数据。然而如果一个用户是 离线 的则会因为 无法正确收集到噪声 而导致 解密失败。 xMK-CKKS16 实现了一个 多密钥的 CKKS 来保护 FL 中的 外包数据。每个用户 使用一个 不同的密钥 来加密他们的 模型。但是 CKKS 对于资源受限的用户来说具有很高的 计算开销。 DTAHE17 实现了一个 阈值机制 来实现多用户间的隐私保护。但是 阈值 在联邦学习的过程中是 不能改变的。 论文1 将 一个私钥 分成 若干个密钥 给用户。相同的公钥 被用于 加密部分私钥 被用于 部分解密。部分解密的结果 能够被聚合起来得到最终的结果 (完整解密内容)。但是这个方法不能处理 用户离线 的问题。 三、前言和系统模型 《Privacy-preserving federated learning using homomorphic encryption》 ↩︎ ↩︎ 《Practical secure aggregation for privacy-preserving machine learning》 ↩︎ ↩︎ 《Secure single-server aggregation with (poly) logarithmic overhead》 ↩︎ 《Towards efficient and privacypreserving federated deep learning》 ↩︎ 《FATE: An industrial grade platform for collaborative learning with data protection》 ↩︎ 《Differential privacy: A survey of results》 ↩︎ 《Privacy-preserving neural network inference framework via homomorphic encryption and SGX》 ↩︎ ↩︎ ↩︎ 《FLATEE: Federated learning across trusted execution environments》 ↩︎ ↩︎ ↩︎ 《FPGA-based hardware accelerator of homomorphic encryption for efficient federated learning》 ↩︎ ↩︎ 《A secure federated learning framework using homomorphic encryption and verifiable computing》 ↩︎ 《Secure neuroimaging analysis using federated learning with homomorphic encryption》 ↩︎ 《Homomorphic encryption for arithmetic of approximate numbers》 ↩︎ 《A homomorphic-encryption-based vertical federated learning scheme for rick management》 ↩︎ 《A secure federated transfer learning framework》 ↩︎ 《Secure aggregation in federated learning via multiparty homomorphic encryption》 ↩︎ 《Privacy-preserving federated learning based on multi-key homomorphic encryption》 ↩︎ 《Secure linear aggregation using decentralized threshold additive homomorphic encryption for federated learning》 ↩︎
