如何自己做门户网站,让别人做的网站不给源代码,扫码点餐小程序怎么制作,怎样做自己的国外网站Deep-Learning-Interview-Book/docs/深度学习.md at master amusi/Deep-Learning-Interview-Book GitHub 网上相关总结#xff1a; 小菜鸡写一写基础深度学习的问题#xff08;复制大佬的#xff0c;自己复习用#xff09; - 知乎 (zhihu.com) CV面试问题准备持续更新贴 …Deep-Learning-Interview-Book/docs/深度学习.md at master · amusi/Deep-Learning-Interview-Book · GitHub 网上相关总结 小菜鸡写一写基础深度学习的问题复制大佬的自己复习用 - 知乎 (zhihu.com) CV面试问题准备持续更新贴 - 知乎 (zhihu.com) Epoch
Epoch 是指完成一次完整的数据集训练的过程。比如有一个数据集有1000个样本当网络用这些样本训练一次后这就是一个epoch。
Iteration
Iteration 是指在一个epoch中使用一个batch进行训练的次数。如果你的数据集有1000个样本batch size是100那么一个epoch就会有10次iteration1000/10010。
Batch Size
Batch Size 是指每次iteration中用于训练的样本数量。如果你的batch size是100每次训练就使用100个样本。
反向传播BP推导
假设我们有一个简单的三层神经网络输入层、隐藏层和输出层
输入层: xxx隐藏层: hhh输出层: yyy
前向传播 输入到隐藏层: hf(Wxhxbh)h f(W_{xh} x b_h)hf(Wxhxbh) 其中 WxhW_{xh}Wxh 是输入到隐藏层的权重矩阵bhb_hbh 是隐藏层的偏置向量fff 是激活函数。 隐藏层到输出层: y^g(Whyhby)\hat{y} g(W_{hy} h b_y)y^g(Whyhby) 其中 WhyW_{hy}Why 是隐藏层到输出层的权重矩阵byb_yby 是输出层的偏置向量ggg 是输出层的激活函数通常在分类问题中是softmax函数。
损失函数
假设我们使用均方误差损失函数
其中 yyy 是实际输出y^\hat{y}y^ 是预测输出。
反向传播
我们需要计算损失 LLL 对每个权重和偏置的梯度然后更新这些参数。我们从输出层开始逐层向后推导。 输出层梯度: 隐藏层到输出层权重梯度: 隐藏层到输出层偏置梯度: 隐藏层误差: 输入层到隐藏层权重梯度: 输入层到隐藏层偏置梯度:
参数更新
使用梯度下降法更新权重和偏置 其中 η 是学习率。 深度神经网络DNN反向传播算法(BP) - 刘建平Pinard - 博客园 (cnblogs.com) 感受野计算
如何计算感受野(Receptive Field)——原理 - 知乎 (zhihu.com) 池化
1. 池化的作用
池化的主要作用有两个
降低计算复杂度通过减少特征图的尺寸减少后续卷积层和全连接层的计算量。减小过拟合通过降低特征图的分辨率可以使模型更具鲁棒性对输入数据的小变化不那么敏感。
2. 池化类型
池化操作通常有两种类型
最大池化Max Pooling从池化窗口中选择最大值。平均池化Average Pooling从池化窗口中选择平均值。 池化(Pooling)的种类与具体用法——基于Pytorch-CSDN博客
一图读懂-神经网络14种池化Pooling原理和可视化MAXAVESUMMIXSOFTROICROW,RMAC _图池化-CSDN博客
卷积神经网络(CNN)反向传播算法 - 刘建平Pinard - 博客园 (cnblogs.com)
Sobel边缘检测
是图像处理中常用的技术它使用卷积核滤波器来突出图像中的边缘。Sobel算子通过计算图像灰度值的梯度来检测边缘。
1. Sobel算子
Sobel算子有两个卷积核一个用于检测水平方向的边缘另一个用于检测垂直方向的边缘。
水平Sobel卷积核Gx diff
复制代码
-1 0 1 -2 0 2 -1 0 1
垂直Sobel卷积核Gy diff
复制代码
-1 -2 -1 0 0 0 1 2 1
2. Sobel卷积操作
通过将这两个卷积核分别与图像进行卷积操作可以得到图像在水平方向和垂直方向上的梯度图。
卷积计算过程
假设有一个3x3的图像块 css
复制代码
a b c d e f g h i
水平方向的梯度计算Gx css
复制代码
Gx (c 2f i) - (a 2d g)
垂直方向的梯度计算Gy css
复制代码
Gy (g 2h i) - (a 2b c)
3. 组合梯度
最终的梯度强度可以通过组合Gx和Gy计算得到 scss
复制代码
G sqrt(Gx^2 Gy^2) 梯度计算
通过这些卷积核我们可以计算图像在水平方向和垂直方向的梯度。梯度表示图像灰度值的变化速率变化速率大的地方就是边缘。具体来说
水平方向梯度Gx表示图像从左到右的变化。如果有明显的水平边缘Gx会有大的值。垂直方向梯度Gy表示图像从上到下的变化。如果有明显的垂直边缘Gy会有大的值。
4. 组合梯度
最终通过组合水平方向和垂直方向的梯度通常使用欧几里得距离我们可以得到图像的梯度强度
计算力flops和参数parameters数量
(31 封私信 / 80 条消息) CNN 模型所需的计算力flops和参数parameters数量是怎么计算的 - 知乎 (zhihu.com) 参数共享的卷积环节 不可导的激活函数如何处理 BN
BatchNormalization、LayerNormalization、InstanceNorm、GroupNorm、SwitchableNorm总结_四维layernormal-CSDN博客
Batch Normalization原理与实战 - 知乎 (zhihu.com)
Normalization操作我们虽然缓解了ICS问题让每一层网络的输入数据分布都变得稳定但却导致了数据表达能力的缺失。BN又引入了两个可学习learnable的参数 与 。这两个参数的引入是为了恢复数据本身的表达能力对规范化后的数据进行线性变换 重点最后一句 感受野计算
卷积神经网络物体检测之感受野大小计算 - machineLearning - 博客园 (cnblogs.com)
卷积神经网络的感受野 - 知乎 (zhihu.com) 资源 | 从ReLU到Sinc26种神经网络激活函数可视化 (qq.com)
非线性激活函数的线性区域 从 SGD 到 Adam —— 深度学习优化算法概览(一) - 知乎 (zhihu.com)
一个框架看懂优化算法之异同 SGD/AdaGrad/Adam - 知乎 (zhihu.com) 指数移动平均公式 EMA指数滑动平均Exponential Moving Average-CSDN博客 动量梯度下降法Momentum
Adagrad
RMSprop
Adam
Adam那么棒为什么还对SGD念念不忘 (2)—— Adam的两宗罪 - 知乎 (zhihu.com)
dropout
深度学习-Dropout详解_深度学习dropout-CSDN博客
Dropout的深入理解基础介绍、模型描述、原理深入、代码实现以及变种-CSDN博客
一文看尽12种Dropout及其变体-腾讯云开发者社区-腾讯云 (tencent.com)
Pytorch——dropout的理解和使用 - Circle_Wang - 博客园 (cnblogs.com)
1x1卷积 (31 封私信 / 80 条消息) 卷积神经网络中用1*1 卷积有什么作用或者好处呢 - 知乎 (zhihu.com)
深度学习笔记六1x1卷积核的作用归纳和实例分析_1x1卷积降维-CSDN博客 AlexNet网络结构详解含各层维度大小计算过程与PyTorch实现-CSDN博客
深度学习——VGG16模型详解-CSDN博客 3乘3卷积代替5乘5卷积 经典卷积神经网络算法(4)GoogLeNet - 奥辰 - 博客园 (cnblogs.com) 1x1卷积降维再接3x3卷积 resnet 两种ResNet设计 channel不同怎么相加
通过卷积调整
ResNet解析-CSDN博客 (31 封私信 / 80 条消息) resnet残差网络的Fx究竟长什么样子 - 知乎 (zhihu.com) (31 封私信 / 80 条消息) Resnet到底在解决一个什么问题呢 - 知乎 (zhihu.com) 残差连接使梯度稳定 ResNet中的恒等映射是一种直接将输入添加到输出的操作方式确保了信息和梯度可以稳定地传递。它通过保持梯度的稳定性防止了梯度消失和爆炸问题从而使得训练非常深的网络成为可能。 (31 封私信 / 80 条消息) ResNet为什么不用Dropout? - 知乎 (zhihu.com) 人工智能 - [ResNet系] 002 ResNet-v2 - G时区深度学习 - SegmentFault 思否
DenseNet详解_densenet网络-CSDN博客
yolo系列
YOLO系列算法全家桶——YOLOv1-YOLOv9详细介绍 -CSDN博客 【YOLO系列】YOLOv1论文超详细解读翻译 学习笔记_yolo论文-CSDN博客
YOLO系列算法精讲从yolov1至yolov8的进阶之路2万字超全整理-CSDN博客
NMS v2引入anchor 分割
计算机视觉—浅谈语义分割、实例分割及全景分割任务 深度学习/图像处理/计算机视觉_全景分割和实例分割-CSDN博客
【计算机视觉】最全语义分割模型总结从FCN到deeplabv3-CSDN博客
目标检测与YOLO(2) 语义分割(FCN)_yolo模型和fcn-CSDN博客
【yolov8系列】yolov8的目标检测、实例分割、关节点估计的原理解析-CSDN博客
yolo实现实例分割和关键点预测都是在head部分增加新的检测头实现 Bounding-box regression详解边框回归_bbox regression-CSDN博客 反卷积(Deconvolution)、上采样(UNSampling)与上池化(UnPooling)_反卷积和上采样-CSDN博客
形象解释
反卷积(Transposed conv deconv)实现原理通俗易懂-CSDN博客
对深度可分离卷积、分组卷积、扩张卷积、转置卷积反卷积的理解-CSDN博客
ShuffleNetV2轻量级CNN网络中的桂冠 - 知乎 (zhihu.com)
轻量级神经网络“巡礼”一—— ShuffleNetV2 - 知乎 (zhihu.com)
(31 封私信 / 80 条消息) 怎么选取训练神经网络时的Batch size? - 知乎 (zhihu.com)
