快捷网站建设,梅州南站,百度浏览器网站入口,域名制作网站吗1.卷积神经网络的结构 在之前的博客《深度学习—简单的卷积神经网络》#xff0c;仅由卷积层构成网络的全部#xff0c;这还不是标准的网络结构#xff0c;本文将继续介绍标准的卷积神经网络结构有哪些#xff1f;
深度学习基础—简单的卷积神经网络https://blog.csdn.net…1.卷积神经网络的结构 在之前的博客《深度学习—简单的卷积神经网络》仅由卷积层构成网络的全部这还不是标准的网络结构本文将继续介绍标准的卷积神经网络结构有哪些
深度学习基础—简单的卷积神经网络https://blog.csdn.net/sniper_fandc/article/details/141688769?fromshareblogdetailsharetypeblogdetailsharerId141688769sharereferPCsharesourcesniper_fandcsharefromfrom_link 假设需要进行手写数字识别输入图片是32*32*3大小的RGB图片下面我们来构建一个卷积神经网络实现这个功能 注该网络和经典网络LeNet-5非常相似灵感也来源于此。LeNet-5是多年前Yann LeCun创建的但是我们所采用的模型并不是LeNet-5但是受它启发许多参数选择都与LeNet-5相似。 1卷积层 第一层使用过滤器f大小为5×5步长s是1padding是0过滤器个数为6那么输出为28×28×6。将这层标记为CONV1它用了6个过滤器增加了偏差应用了非线性函数可能是ReLU非线性函数最后输出CONV1的结果。
2池化层 然后构建一个池化层这里选择最大池化参数f2步长s2padding为0本网络的padding均为0后续不再说明过滤器的选择表示层的高度和宽度会减少一半。因此输出为14×14通道数量保持不变所以最终输出为14×14×6将该输出标记为POOL1。
3关于层的划分 在卷积神经网络中关于卷积的划分主要有两类即层的划分一类是卷积层作为单独的一层池化层作为单独的一层另一类是把一个卷积层和一个池化层一并称为一层。由于池化层没有权重和参数只有超参数统计神经网络的层数时通常只统计有权重和参数的层因此这里把CONV1和POOL1统称为Layer1。Layer2层结构类似具体参数如上图这里不再赘述。
4全连接层 将POOL2的输出转化为一个大小为400的向量把平整化结果想象成某个包含神经元的层然后利用这400个单元构建下一层。下一层含有120个单元这就是第一个全连接层标记为FC3。这400个单元与120个单元紧密相连这就是全连接层也是一个标准的神经网络层。它的权重矩阵W[3]的维度为120×400偏差参数b[3]的维度为120×1。 把FC3层的输出作为FC4的输入FC4层有84个神经元因此输出的结果是长度84的向量。最后用这84个单元填充一个softmax单元。如果我们想通过手写数字识别来识别手写0-9这10个数字这个softmax就会有10个输出。
5激活值维度 这里提醒两点第一池化层没有参数第二卷积层的参数相对较少。其实许多参数都存在于神经网络的全连接层。观察可发现随着神经网络的加深激活值尺寸会逐渐变小如果激活值尺寸下降太快也会影响神经网络性能。示例中激活值尺寸在第一层为6000然后减少到1600慢慢减少到84最后输出softmax结果。我们发现许多卷积网络都具有这些属性模式上也相似。 一个卷积神经网络包括卷积层、池化层和全连接层如何构建高效的神经网络整合这些基本模块需要对模块有深入的理解最简单高效的方式就是大量阅读文献和案例尤其是不同领域的融汇贯通。
2.为什么要使用卷积 假设有一张32×32×3维度的图片使用卷积的情况下比如示例的第一层有6个大小为5×5的过滤器输出维度为28×28×6。32×32×3307228×28×64704。而构建一个普通的神经网络其中一层含有3072个单元下一层含有4074个单元两层中的每个神经元彼此相连然后计算权重矩阵它等于4074×3072≈1400万所以要训练的参数很多。虽然以现在的技术可以用1400多万个参数来训练网络因为这张32×32×3的图片非常小训练这么多参数没有问题。但是如果这是一张1000×1000的图片权重矩阵会变得非常大。仅仅这个卷积层的参数数量每个过滤器都是5×5一个过滤器有25个参数再加上偏差参数那么每个过滤器就有26个参数一共有6个过滤器所以参数共计156个参数数量还是很少。 卷积神经网络参数少的原因有如下两点 1参数共享 如果特征检测过程中比如垂直边缘检测如果适用于图片的某个区域那么它也可能适用于图片的其他区域那么使用一个过滤器就可以提取多个区域中的特征这样就大大减少了参数的数量。
2稀疏连接 某一个输出值仅与输入图片的过滤器大小范围的像素值有关比如上图中绿色的0在3*3的过滤器大小下仅和输入图片的左上角9个像素有关其他像素值不影响其输出的大小。这就是稀疏连接它和全连接概念有重大区别全连接就是每层神经元的输出和下层神经元的输入均相连因此参数量巨大。而稀疏连接中下层和本层的连接关系只受到过滤器大小和位置影响因此参数量很小。 神经网络可以通过这两种机制减少参数以便我们用更小的训练集来训练它从而预防过度拟合。卷积神经网络善于捕捉平移不变。即使移动少量像素图片依然清晰可见因为神经网络的卷积结构使得移动前后图片依然具有非常相似的特征应该属于同样的输出标记。
