好的学校网站设计,怎样自己做刷赞网站,WordPress分类打开404错误,关于数据库的网站开发这里写目录标题 深度学习之前的网络 AlexNetAlexNet得到了竞赛冠军AlexNet架构Alex net更多细节数据增强 VGGNiN知识补充flop暂退法 drop_out 深度学习之前的网络
1、核方法 机器学习 SVM现在还是很广泛的使用#xff0c;因为对调参的需求不那么大#xff0c;对调参不太敏感… 这里写目录标题 深度学习之前的网络 AlexNetAlexNet得到了竞赛冠军AlexNet架构Alex net更多细节数据增强 VGGNiN知识补充flop暂退法 drop_out 深度学习之前的网络
1、核方法 机器学习 SVM现在还是很广泛的使用因为对调参的需求不那么大对调参不太敏感 特征抽取
卷积神经网络 通常运用在图片上 计算机视觉问题 描述成几何问题从几何学而来
计算机视觉中 曾见最重要的是特征工程 如果特征抽取的好直接用简单的多分类模型SVM
硬件的发展趋势
样本大小内存CPU 内存放不下数据集 计算能力 增长速度大于 数据集的增长速度构造更深的神经网络算力换精度
因为采用随机梯度下降内存要求不那么高
Min list手写数字识别 imageNet
AlexNet
AlexNet得到了竞赛冠军
1、丢弃法 模型的控制
2、letnet激活函数由sigmoid换成relu之后效果有提升从数值稳定性来理解relu算梯度快而且不容易出现梯度消失和梯度爆炸的现象
相比于lenet的average pooling这里用maxpooling使得输出值更大梯度相对更大训练比较容易一点
不仅更大更深观念上的改变
之前的传统机器学习人工特征提取和SVM相当于分开的两个过程 现在的分类器和CNN一起训练CNN学到的很可能就是分类器想要的 构造CNN相对简单不需要太多计算机视觉相关的知识来进行人工特征提取 端到端的学习原始的序列到最后的结果
AlexNet架构
卷积层 图片变大需要更大的核窗口 输出通道数变大6变成96图片模式比较多需要去识别 stride够大减轻计算负担 池化层 池化窗口也稍稍增大 conv是重叠的pool不重叠 **pad1输入和输出的尺寸是一样的输入和输出得高宽是一样的 **
都是两个隐藏层 Dense层就是所谓的全连接神经网络就是全连接层 稠密层也称全连接层就是把特征提取成一维帮助最后分类
Alex net更多细节
加入dropout层做模型的正则化
数据增强
随机截取一块调整亮度对原始图片基础上增加一些变种
VGG
不规则变大的lenet但是变大得很随意这里加一点那里加一点 需要更好的设计思想框架更加regular一些 占内存计算量大不便宜
不规则 组成卷积块再把卷积块拼上去
VGG就是模块化得Alexnet用块的方式使代码变得很简洁 选择3*3神但是窄效果更好 替换成n个重复的VGG块
11,16,19指的是 含有可训练参数的层的总数也就是不包括激活层池化层这种不含训练参数的层
NiN
知识补充
flop
(Floating Point Operations Per Second浮点操作/秒)计算CPU浮点能力的一个单位
暂退法 drop_out
Dropout具体工作流程 假设我们要训练这样一个神经网络如图2所示。 输入是x输出是y正常的流程是我们首先把x通过网络前向传播然后把误差反向传播以决定如何更新参数让网络进行学习。使用Dropout之后过程变成如下
1首先 随机临时删掉网络中一半的隐藏神经元输入输出神经元保持不变图3中虚线为部分临时被删除的神经元 2 然后把输入x通过修改后的网络前向传播然后把得到的损失结果通过修改的网络反向传播。一小批训练样本执行完这个过程后在没有被删除的神经元上按照随机梯度下降法更新对应的参数wb。
3然后继续重复这一过程
恢复被删掉的神经元此时被删除的神经元保持原样而没有被删除的神经元已经有所更新 从隐藏层神经元中随机选择一个一半大小的子集临时删除掉备份被删除神经元的参数。 对一小批训练样本先前向传播然后反向传播损失并根据随机梯度下降法更新参数wb 没有被删除的那一部分参数得到更新删除的神经元参数保持被删除前的结果。 不断重复这一过程。 深度学习中Dropout原理解析
