怎么样做好网站建设,Wordpress页面标签插件,樱花代码html,南昌自助建站在学习ShuffleNet V2内容前需要简单了解卷积神经网络和MobileNet,以及Shuffnet V1的相关内容#xff0c;大家可以出门左转#xff0c;去看我之前的几篇博客MobileNet发展脉络#xff08;V1-V2-V3#xff09;#xff0c;轻量级网络模型ShuffleNet V1#x1f197;#xff…在学习ShuffleNet V2内容前需要简单了解卷积神经网络和MobileNet,以及Shuffnet V1的相关内容大家可以出门左转去看我之前的几篇博客MobileNet发展脉络V1-V2-V3轻量级网络模型ShuffleNet V1接下来步入正题~卷积神经网络被广泛应用在图像分类、目标检测等视觉任务中并取得了巨大的成功。然而卷积神经网络通常需要较大的运算量和内存占用在移动端以及嵌入式设备等资源受限的环境中受到限制因此需要进行网络压缩。ShuffleNet-V2是旷视推出的继ShuffleNet-V1的轻量级网络模型旨在不过多牺牲模型性能的同时大幅度减小模型的尺寸和加快模型的运算速度。在同等复杂度下ShuffleNet-V2比ShuffleNet-V1和MobileNet-V2更准确。轻量级网络模型回顾MobileNet v1: 提出了 深度可分离卷积和两个全局超参数-宽度乘法器和分辨率乘法器。MobileNet v2: 在MobileNet V1深度可分离卷积的基础上提出了具有线性瓶颈的倒置残差块。MnasNet: 提出了分层的神经网络架构搜索空间使用NAS搜索各自基本模块通过多目标优化的目标函数进行反馈和修正。MobileNet v3使用了 NAS 和 NetAdapt 算法搜索最优的模型结构同时对模型一些结构进行了改进在 MobileNet_V2的具有线性瓶颈的倒置残差块基础上引入MnasNet的Squeeze-and-Excitation注意力机制。ShuffleNet v1利用分组点卷积来降低参数量利用通道重排操作来增强不同通道之间的交互和融合。ShuffleNet v2提出了四条有效的网络设计原则并根据这四条原则设计了一个高效的网络结构。轻量级网络模型比较四条轻量级网络模型设计原则当输入输出通道相同的时候内存访问量MAC最小运行速度最快乘法-加法浮点运算次数FLOPs只反映卷积层仅为间接的指标分组卷积以及过大的分组数会导致内存访问量MAC变大分支结构会产生碎片化并降低并行能力逐元素操作的开销不可忽略轻量化网络模型总结ShuffleNet V2中提出的四条轻量化网络设计准则一、输入输出通道相同时内存访问量MAC最小二、分组数过大的分组卷积会增加MAC三、碎片化的操作对网络并行加速不友好四、逐元素操作带来的内存和耗时不可忽略MobileNet v2在MobileNet V1深度可分离卷积的基础上提出了具有线性瓶颈的倒置残差块输入输出通道不一致不满足准则一。MnasNet提出了分层的神经网络架构搜索空间使用NAS搜索各自基本模块通过多目标优化的目标函数进行反馈和修正各个block碎片化不利用并行不满足准则三。MobileNet v3使用了 NAS 和 NetAdapt 算法搜索最优的模型结构同时对模型一些结构进行了改进在 MobileNet_V2的具有线性瓶颈的倒置残差块基础上引入MnasNet的Squeeze-and-Excitation注意力机制不满足准则一和三。ShuffleNet v1利用分组点卷积来降低参数量利用通道重排操作来增强不同通道之间的交互和融合。使用分组卷积不满足准则二。此外所有的轻量级网络模型都是用了逐元素操作都不满足准则四。ShuffleNet V2 网络模块 ShuffleNet V1 ShuffleNet V2ShuffleNet V2 模型结构ShuffleNet V2 实验对比ShuffleNet V2模型总结一、提出了四条轻量化网络模型设计原则并根据这四条准则设计了shufflenet v2网络结构。输入输出通道相同时MAC最小分组数过大的分组卷积会增加MAC碎片化操作对网络并行加速不友好尽量避免逐元素操作二、在相同FLOPs的情况下ShuffleNet V2准确率比其他轻量级模型要高。OK至此我们以及介绍完了轻量级网络的MobileNet系列包括MobileNet V1MobileNet V2MobileNet V3MnasNet以及ShuffleNet系列包括ShuffleNet V1ShuffleNet V2有兴趣的同学可以去看这几篇相关的博客也欢迎大家一起交流~
