新网官方网站,企业网站设计html代码,mooc网站建设,网站推广关键词工具发展时间线 基础概念
多层神经网络结构 神经网络中一个网络层的数学表达 TensorFlow实践
创建网络层 神经网络的创建、训练与推理 推理
推理可以理解为执行一次前向传播
前向传播
前向传播直观数学表达 前向传播直观数学表达的Python实现 前向传播向量化实现 相关数学知识…发展时间线 基础概念
多层神经网络结构 神经网络中一个网络层的数学表达 TensorFlow实践
创建网络层 神经网络的创建、训练与推理 推理
推理可以理解为执行一次前向传播
前向传播
前向传播直观数学表达 前向传播直观数学表达的Python实现 前向传播向量化实现 相关数学知识
向量点积(内积)示例 矩阵乘法示例 训练
相比前面TensorFlow实践中的步骤简化这里细化了如何compile和fit模型。
TensorFlow实践 底层原理
1. 明确逻辑回归表达式及激活函数
2. 明确损失函数及成本函数
3. 开始训练并最小化成本函数 激活函数
为什么需要激活函数
当你网络中每一层都不使用激活函数即每一层都使用线性激活函数根据下图的推导会发现不管你有几层最终的输出还是跟输入是线性的因此最终实现的都是一个线性回归而很多问题不是线性回归能够描述的。 常见激活函数
前面所有例子使用的激活函数都是sigmod但是实际还有其他可替代的比如下面的ReLU(Rectified Linear Unit)不需要关注全称 输出层激活函数选择
根据你要输出的性质选择一般不存疑 隐藏层激活函数选择
现在绝大多数情况下会选择ReLU作为隐藏层的激活函数两个原因
1. 计算量更小
2. 只有 z 0 时曲线的梯度(斜率)很小(为0)而sigmod函数在两侧梯度都很小收敛更慢 多类分类SoftMax回归
前面举的例子都是解决二分类问题非0即1但是实践中经常有多类分类问题比如要识别0-9的数字 数值稳定的回归 多标签分类
跟多类分类要区分开多类分类是指n类选命中哪1类多标签分类是指n个标签命中其中m个标签每个标签是二值 梯度下降优化算法Adam算法
adaptive moment estimation自适应矩估计该算法是梯度下降的优化算法效率更高课程没有讲Adma算法的具体实现但是实现的大致原理是动态调整学习率α梯度下降过程中多次朝同一个方向下降的时候放大学习率来回震荡时缩小学习率 神经网络层类型(layer type)
全连接层(dense layer)
每个神经元的输入是前一层所有输出(activation outputs)。
卷积层(convolutional layer)
每个神经元的输入是前一层部分输出。在某些场景会比全连接层效果更好不过没讲分别适用的场景
为什么需要卷积层
1. 减少计算量加快计算速度
2. 减少训练需要的样本量更不容易出现过拟合 反向传播
将计算损失的过程生成一个计算图前向传播可以计算各个中间变量以及最终损失而通过反向传播则可以通过导数的链式计算逐步获取到J对所有参数的偏导数在该训练数据下的值 应用机器学习的建议
模型评估
数据集中圈出大部分数据用于训练并记录为训练集留出少部分进行test并记录为测试集。可以分别对测试集和训练集计算最终模型的误差注意计算误差的时候不再计算正则化项。 分类问题中也可以使用下图的匹配数量计算训练集和测试集的误差 训练集/交叉验证集/测试集 评估误差 偏差与方差(bias/variance)
作用 很高、说明高偏差拟合度不足
很低、 很高说明高方差过拟合 很高、说明高偏差、更高方差说明在部分数据上过拟合部分数据拟合不足 正则化对偏差/方差的影响
1. λ 接近 0 时相当于没有正则化会产生过拟合
2. λ 接近无穷大时相当于w稍微有值 确定模型的基线水平
你需要将 、 与基线水平对比差距以判断偏差与方差而不是根据他们的绝对值判断偏差与方差。确定基线水平有以下几种方式
1. 人类表现水平
2. 竞品/同类算法表现水平
3. 基于经验猜测目标水平 学习曲线
因为随着加入的训练数据变多拟合越来越难满足所有数据所以 逐步增大而 逐渐减小但还是会大于 高偏差
高偏差情况下 和 都高于基线水平即使增加数据集也不能缓解所以增加数据集规模没有作用 高方差
高方差情况下基线水平处于 和 之间增加数据集大小可以降低 即可以提高模型性能 如何优化模型性能 经过合适的正则化之后的更大的模型通常表现要比更小的模型更好或者相仿但是相应地会增加训练和推理的成本 机器学习开发流程 误差分析
通过对交叉验证集中预测错误的数据抽样出合理数量的数据对这些误差数据进行归类分析将注意力集中到高频出现的问题上以确定下一步要优化的优先级并针对高优优化类别分析改进方案 如何添加训练数据
收集更多数据
增加误差分析中占比比较多的分类的数据可以有效提高模型性能
数据增强(data augmentation)
主要应用于图像、音频领域对已有的训练数据做一定的变换放大、所有、旋转、失真作为新的同标签训练数据提高模型性能 数据合成
基本上也只是用于计算机视觉很少用于其他领域。例如想训练文本识别模型可以在电脑上使用不同字体、不同颜色、不同对比度生成文本作为训练集 迁移学习
概念
迁移学习是指复用其他已经经过训练的模型参数和结构然后替换掉输出层再基于你自己的训练集进行再训练。此时你复用的模型成为预训练(pre training)模型而再训练过程成为微调fine tuning。这使得你可以站在巨人的肩膀上实现你自己的模型功能感谢这些乐于分享自己训练好的模型的人吧有机会你也可以尝试回馈社区。
微调也有两种方式
1. 你自己的数据集比较小只微调输出层参数
2. 你自己的数据集比较大可以同时微调隐藏层和输出层的所有参数
示例
比如下图例子使用其他人训练好的判断图片是否存在猫、狗、骑车、人的模型和参数替换输出层之后使用数据集训练为识别数字的模型。 什么情况可以进行迁移学习
预训练和微调模型的输入类型必须是相同的。此时每个隐藏层在预训练和微调时可能发挥类似的作用比如前面的图像识别示例中可能第一个隐藏层都在检测边第二个隐藏层在检测角第三层再检测曲线/形状。 倾斜数据集
示例
罕见病检测中一种罕见病发病率仅为0.5%那么即使是一个永远输出y0的程序准确率也达到了99.5%所以这时只用准确率来评判检测模型的性能是不够的 准确率与召回率 两者之间的取舍 使用F1 score(调和平均数 harmonic mean)
