莱阳有网站建设推广的吗,wordpress 上传目录权限,运城建网站,wordpress如何添加菜单链接1. 背景介绍 本文主要介绍一种利用多方安全计算MPC技术#xff0c;实现VGG16的人脸识别模型#xff0c;侧重于模型推理阶段#xff0c;目前已经公开专利#xff0c;因此以下内容的分享都是基于公开材料。该分享涉及到最小化多方安全计算(MPC)以及明密文混合计算的思想…1. 背景介绍 本文主要介绍一种利用多方安全计算MPC技术实现VGG16的人脸识别模型侧重于模型推理阶段目前已经公开专利因此以下内容的分享都是基于公开材料。该分享涉及到最小化多方安全计算(MPC)以及明密文混合计算的思想仅供参考。 人脸识别是一种基于生物特征识别技术的身份验证和识别方法在多种场景中广泛应用比如安防、银行、终端设备等更贴近生活的还有支付宝的扫脸支付。人脸识别在各领域的广泛应用带来了便利但也引发了隐私和数据安全方面的讨论以及担忧传统的人脸识别系统在数据采集、存储和处理过程中很可能会存在隐私泄露的风险。 比如传统人脸识别系统通常需要将用户的面部数据上传到中央服务器进行处理如果这些数据被黑客入侵、内部人员滥用或系统漏洞利用可能会导致用户敏感信息泄露。此外某些公司或机构可能会将收集到的人脸数据用于未经用户同意的商业或其他用途侵犯个人隐私。 鉴于上述原因很有必要采用隐私保护技术。隐私计算技术如联邦学习、差分隐私、多方安全计算等允许在不直接共享原始数据的前提下进行人脸识别模型的训练和推理从而防止数据滥用和泄露。实现隐私计算的人脸识别是为了在保证人脸识别技术有效性的同时最大程度地保护用户的个人隐私。
2. 算法介绍 本文主要介绍利用安全多方计算MPC实现VGG16人脸识别模型的推理预测。在介绍具体算法之前需要对MPC有一定的了解有助于理解后续的深度学习算法隐私计算化改造。安全多方计算MPC是一种密码学技术它允许多个参与方在不泄露各自私有数据的前提下协同计算一个共同的函数结果。关于MPC的介绍这里不做详细展开有兴趣的话可以看下冯登国院士关于MPC的基础知识分享包括 基于秘密分享方法的MPC以及基于混淆电路方法的MPC另外关于混淆电路的知识也可以参考我们之前的文章《混淆电路深入浅出》涉及的密码原语不经意传输可以参考我们的系列文章《OTOT扩展(不经意传输扩展)深入浅出》、《不经意传输协议(OT/OTE)的进一步补充》。
2.1 具体算法介绍 整体算法介绍会涉及采集端分片处理、分布式存储、分布式推理、模型本身的MPC化等工作。
2.1.1 人脸分布式存储 在人脸图像采集、识别环节都采用分片形式的分布式存储。采用MPC加性碎片形式将原始人脸图像数据分成多个小碎片每个碎片单独存储在不同的存储节点上不同的存储点可以分布在物理独立的地区即使某个库被攻破也无法窃取到具体的人脸明文数据。 2.1.2 VGG模型介绍 在进行VGG模型的改造之前也调研了相应的其他模型比如AlexNet模型总体来看结构类似但vgg的层数更深、参数更多。 AlexNet: 共有 8 层其中 5 层是卷积层3 层是全连接层。 VGG16: 共有 16 层其中包括 13 层卷积层和 3 层全连接层【12】。 VGG16由13个卷积层、5个最大池化层和3个全连接层组成。因此具有可调参数的层数为1613个卷积层和3个全连接层。这也是该模型被命名为VGG16的原因。第一组卷积层中的滤波器数量为64之后每个卷积模块中的滤波器数量逐步加倍直到达到512个。该模型最后由两个全连接隐藏层和一个输出层构成。两个全连接隐藏层的神经元数量相同均为4096。 因此从模型的结构、复杂度、参数量来看vgg会比alexnet更强大因此我们选择vgg16作为mpc化改造的基座模型。
2.1.3 VGG模型MPC化 对于VGG模型的mpc化方案同样也适合AlexNet网络结构可以迁移使用。该面向的多方计算场景为两方当然也可以平滑扩展到N方但考虑到推理的耗时问题两方、三方会比较合适。因为随着参与方的增多进行矩阵乘法的时候彼此之间的通信量会显著增加。另外场景面向的是1对N的人脸识别任务。
方案描述 对人脸特征提取算法MPC化,将人脸特征提取算法进行拆分拆分成若干层,每层都是基本的CNN中的处理层,包括卷积层、激活层、池化层、全连接层等。对每个层次进行MPC化改造,在保证 安全性的情况下进行特定的优化。首先对单层MPC改造的优化,包括卷积层的MPC化、激活层的MPC化、池化层的MPC化、全连接层的MPC化,其次对多个层次的组合优化。
2.1.3.1 对单层MPC改造的优化 将人脸特征提取算法进行拆分,拆分成若干层,每层都是基本的CNN中的处理层,包括卷积层、激活层、池化层、全连接层等对每个层次进行MPC化改造,在保证安全性的情况下进行特定的优 化。 1卷积层的MPC化 方式一 执行纯碎片态的卷积操作其中生物信息输入是以碎片态而卷积核采用明文态。 步骤: 各个参与方用本方碎片化的输入与明文态的卷积核进行向量内积计算,得到碎片态的卷积输入结果。卷积层的MPC化改造不涉及到交互,仅在各个参与方内部进行本地化碎片态的计算。 此外在某些场景下也可以选择完全碎片态的卷积核执行分布式MPC计算。更加安全。 方式二: 随机部分恢复后卷积我们也称之为随机掩码态。 这种模式下各参与方在本地会进行随机恢复某些信息但不足以用于判别并且每一次使用都会用户重分片处理重新随机。各个参与方随机恢复出明文,非明文位置用0填充,在本地进行 明文卷积运算,得到碎片态输出。这里有个注意点需要设计一种新的随机化策略避免恢复对于卷积贡献度较大的随机块。此外应用该方法对于输入的矩阵块大小有一定的要求因为size过小容易造成信息的暴露所以对于矩阵块的大小以及随机化策略需要重点考虑。 2激活层的MPC化 参与方之间需要根据某种机制形成互补的索引集合,标注各个参与方在此步中需要恢复处明文的索引,根据索引各方相互交互,恢复部分明文。各方根据自己恢复出的明文,进行本地明文下的激活函数计算。各方对持有的激活函数计算出来的明文结果进行重分片。由于后续需要对激活层的记过进行进一步的卷积、池化等层操作,参与方在本层恢复出来的明文,在后续的层操作中需要与其他 自己不掌握数据的索引位置进行相应计算,所以随机部分明文化激活操作,不会泄露隐私数据。 这里给出一种数值处理示例 3池化层的MPC化 参与方之间形成互补的池子索引集合,双方恢复各自掌握的池子里的明文信息。对自己恢复的池子里的数据进行本地明文池化。参与方对自己掌握的池化结果进行重分片。 4全连接层的MPC化 各个参与方根据公开的权重参数进行向量内积计算获得全连接的输出结果这里采用的是纯MPC乘法计算方式。 2.1.3.2 对多层的组合优化 由于大多数特征提取算法中的单个层次之间的组合模式较为通用。例如卷积-池化-激活的操作,可以作如下的进一步优化。对于较为常用的层次组合可定制化开发优化的算子。 2.1.3.3 MPC化推理模块组成 以下展示整体模型的MPC化推理示例 2.2 MPC人脸识别系统的整体架构 模型训练参数的生成可以采用完全MPC的方式直接生成碎片态参数也可以采用明文训练后对模型参数进行碎片化处理。具体的方式根据实际业务需求进行选择。 1一种模型训练参数的碎片化处理方式 2人脸识别推理的处理流程 3代码示例 使用mpc化的模型其使用方式和普通的明文模型其实很类似只不过内部的底层算子是MPC的基本算子其中的Conv2D、MaxPooling2D、Flatten、activation都是MPC化的算子。 代码使用示例
def VGG16(x):# Block 1kernel, bias get_kernel_bias_by_name(conv1_1)x Conv2D(64, (3, 3), activationrelu, paddingsame, nameconv1_1)(x, kernel, bias)kernel, bias get_kernel_bias_by_name(conv1_2)x Conv2D(64, (3, 3), activationrelu, paddingsame, nameconv1_2)(x, kernel, bias)x MaxPooling2D((2, 2), strides(2, 2), namepool1)(x)# Block 2kernel, bias get_kernel_bias_by_name(conv2_1)x Conv2D(128, (3, 3), activationrelu, paddingsame, nameconv2_1)(x, kernel, bias)kernel, bias get_kernel_bias_by_name(conv2_2)x Conv2D(128, (3, 3), activationrelu, paddingsame, nameconv2_2)(x, kernel, bias)x MaxPooling2D((2, 2), strides(2, 2), namepool2)(x)# Block 3kernel, bias get_kernel_bias_by_name(conv3_1)x Conv2D(256, (3, 3), activationrelu, paddingsame, nameconv3_1)(x, kernel, bias)kernel, bias get_kernel_bias_by_name(conv3_2)x Conv2D(256, (3, 3), activationrelu, paddingsame, nameconv3_2)(x, kernel, bias)kernel, bias get_kernel_bias_by_name(conv3_3)x Conv2D(256, (3, 3), activationrelu, paddingsame, nameconv3_3)(x, kernel, bias)x MaxPooling2D((2, 2), strides(2, 2), namepool3)(x)# Block 4kernel, bias get_kernel_bias_by_name(conv4_1)x Conv2D(512, (3, 3), activationrelu, paddingsame, nameconv4_1)(x, kernel, bias)kernel, bias get_kernel_bias_by_name(conv4_2)x Conv2D(512, (3, 3), activationrelu, paddingsame, nameconv4_2)(x, kernel, bias)kernel, bias get_kernel_bias_by_name(conv4_3)x Conv2D(512, (3, 3), activationrelu, paddingsame, nameconv4_3)(x, kernel, bias)x MaxPooling2D((2, 2), strides(2, 2), namepool4)(x)# Block 5kernel, bias get_kernel_bias_by_name(conv5_1)x Conv2D(512, (3, 3), activationrelu, paddingsame, nameconv5_1)(x, kernel, bias)kernel, bias get_kernel_bias_by_name(conv5_2)x Conv2D(512, (3, 3), activationrelu, paddingsame, nameconv5_2)(x, kernel, bias)kernel, bias get_kernel_bias_by_name(conv5_3)x Conv2D(512, (3, 3), activationrelu, paddingsame, nameconv5_3)(x, kernel, bias)x MaxPooling2D((2, 2), strides(2, 2), namepool5)(x)# Block 6kernel, bias get_kernel_bias_by_name(fc6)x Conv2D(4096, (7, 7), activationrelu, namefc6)(x, kernel, bias)# x Dropout(0.5, namefc6/dropout)(x)kernel, bias get_kernel_bias_by_name(fc7)x Conv2D(4096, (1, 1), activationrelu, namefc7)(x, kernel, bias)# x Dropout(0.5, namefc7/dropout)(x)kernel, bias get_kernel_bias_by_name(fc8)x_fc Conv2D(1024, (1, 1), namefc8)(x, kernel, bias)x_flatten Flatten(nameflatten)(x_fc)return x_flattendef deepface(random_idx, output_path, img):# y: [5947, 1024] 图像特征碎片化数据库y mpc.read(ff_db_5947, 5947, 1024, ss_img_feature_db)# x: [1, 224, 224, 3] 图像数据碎片x mpc.read_img(random_idx, 1, [224, 224, 3], ss_img)# 模型推理得到的输出x VGG16(x) # - [1, 1024]3. 参考材料
【1】An overview of VGG16 and NiN models
【2】Difference between AlexNet, VGGNet, ResNet, and Inception
【3】GitHub - rcmalli/keras-vggface: VGGFace implementation with Keras Framework
