迅博威网站建设,国外企业网络研究,网站自定义模块,自己怎么做软件前向传播与反向传播前向传播与反向传播的作用前向传播及公式前向传播范例反向传播及公式反向传播范例小结前向传播计算图前向传播与反向传播的作用
在训练神经网络时#xff0c;前向传播和反向传播相互依赖。 对于前向传播#xff0c;我们沿着依赖的方向遍历计算图并计算其路…
前向传播与反向传播前向传播与反向传播的作用前向传播及公式前向传播范例反向传播及公式反向传播范例小结前向传播计算图前向传播与反向传播的作用
在训练神经网络时前向传播和反向传播相互依赖。 对于前向传播我们沿着依赖的方向遍历计算图并计算其路径上的所有变量。 然后将这些用于反向传播其中计算顺序与计算图的相反用于计算w、b的梯度即神经网络中的参数。随后使用梯度下降算法来更新参数。
因此在训练神经网络时在初始化模型参数后 我们交替使用前向传播和反向传播利用反向传播给出的梯度来更新模型参数。
注意
反向传播重复利用前向传播中存储的中间值以避免重复计算。 带来的影响之一是我们需要保留中间值直到反向传播完成。 这也是训练比单纯的预测需要更多的内存显存的原因之一。这些中间值的大小与网络层的数量和批量的大小大致成正比。 因此使用更大的批量来训练更深层次的网络更容易导致内存不足out of memory错误。
前向传播及公式
前向传播forward propagation或forward pass 指的是按顺序从输入层到输出层计算和存储神经网络中每层的结果。
假设输入样本是 x∈Rd\mathbf{x}\in \mathbb{R}^dx∈Rd 并且我们的隐藏层不包括偏置项。 这里的中间变量是
zW(1)x,\mathbf{z} \mathbf{W}^{(1)} \mathbf{x},zW(1)x,
其中W(1)∈Rh×d\mathbf{W}^{(1)} \in \mathbb{R}^{h \times d}W(1)∈Rh×d是隐藏层的权重参数。 将中间变量z∈Rh\mathbf{z}\in \mathbb{R}^hz∈Rh通过激活函数ϕ\phiϕ后 我们得到长度为hhh的隐藏激活向量 hϕ(z).\mathbf{h} \phi (\mathbf{z}).hϕ(z).
隐藏变量h\mathbf{h}h也是一个中间变量。 假设输出层的参数只有权重W(2)∈Rq×h\mathbf{W}^{(2)} \in \mathbb{R}^{q \times h}W(2)∈Rq×h 我们可以得到输出层变量它是一个长度为qqq的向量 oW(2)h.\mathbf{o} \mathbf{W}^{(2)} \mathbf{h}.oW(2)h.
假设损失函数为lll样本标签为yyy我们可以计算单个数据样本的损失项 Ll(o,y).L l(\mathbf{o}, y).Ll(o,y).
根据L2L_2L2正则化的定义给定超参数λ\lambdaλ正则化项为 sλ2(∥W(1)∥F2∥W(2)∥F2),s \frac{\lambda}{2} \left(\|\mathbf{W}^{(1)}\|_F^2 \|\mathbf{W}^{(2)}\|_F^2\right),s2λ(∥W(1)∥F2∥W(2)∥F2),
其中矩阵的Frobenius范数是将矩阵展平为向量后应用的L2L_2L2范数。 最后模型在给定数据样本上的正则化损失为 JLs.J L s.JLs.
前向传播范例
反向传播及公式
反向传播backward propagation或backpropagation指的是计算神经网络参数梯度的方法。也称“BP算法” 简言之该方法根据微积分中的链式规则按相反的顺序从输出层到输入层遍历网络。 该算法存储了计算某些参数梯度时所需的任何中间变量偏导数。
假设我们有函数Yf(X)\mathsf{Y}f(\mathsf{X})Yf(X)和Zg(Y)\mathsf{Z}g(\mathsf{Y})Zg(Y) 其中输入和输出X,Y,Z\mathsf{X}, \mathsf{Y}, \mathsf{Z}X,Y,Z是任意形状的张量。 利用链式法则我们可以计算Z\mathsf{Z}Z关于X\mathsf{X}X的导数 ∂Z∂Xprod(∂Z∂Y,∂Y∂X).\frac{\partial \mathsf{Z}}{\partial \mathsf{X}} \text{prod}\left(\frac{\partial \mathsf{Z}}{\partial \mathsf{Y}}, \frac{\partial \mathsf{Y}}{\partial \mathsf{X}}\right).∂X∂Zprod(∂Y∂Z,∂X∂Y).
反向传播的目的是计算梯度∂J/∂W(1)\partial J/\partial \mathbf{W}^{(1)}∂J/∂W(1)和∂J/∂W(2)\partial J/\partial \mathbf{W}^{(2)}∂J/∂W(2). 为此我们应用链式法则依次计算每个中间变量和参数的梯度。 计算的顺序与前向传播中执行的顺序相反因为我们需要从计算图的结果开始并朝着参数的方向努力。
计算目标函数JLsJLsJLs相对于损失项LLL和正则项sss的梯度 ∂J∂L1and∂J∂s1.\frac{\partial J}{\partial L} 1 \; \text{and} \; \frac{\partial J}{\partial s} 1.∂L∂J1and∂s∂J1.根据链式法则计算目标函数关于输出层变量o\mathbf{o}o的梯度 ∂J∂oprod(∂J∂L,∂L∂o)∂L∂o∈Rq.\frac{\partial J}{\partial \mathbf{o}} \text{prod}\left(\frac{\partial J}{\partial L}, \frac{\partial L}{\partial \mathbf{o}}\right) \frac{\partial L}{\partial \mathbf{o}} \in \mathbb{R}^q.∂o∂Jprod(∂L∂J,∂o∂L)∂o∂L∈Rq.计算正则化项相对于两个参数的梯度: ∂s∂W(1)λW(1)and∂s∂W(2)λW(2).\frac{\partial s}{\partial \mathbf{W}^{(1)}} \lambda \mathbf{W}^{(1)} \; \text{and} \; \frac{\partial s}{\partial \mathbf{W}^{(2)}} \lambda \mathbf{W}^{(2)}.∂W(1)∂sλW(1)and∂W(2)∂sλW(2).计算最接近输出层的模型参数的梯度 ∂J/∂W(2)∈Rq×h\partial J/\partial \mathbf{W}^{(2)} \in \mathbb{R}^{q \times h}∂J/∂W(2)∈Rq×h。 使用链式法则得出 ∂J∂W(2)prod(∂J∂o,∂o∂W(2))prod(∂J∂s,∂s∂W(2))∂J∂oh⊤λW(2).\frac{\partial J}{\partial \mathbf{W}^{(2)}} \text{prod}\left(\frac{\partial J}{\partial \mathbf{o}}, \frac{\partial \mathbf{o}}{\partial \mathbf{W}^{(2)}}\right) \text{prod}\left(\frac{\partial J}{\partial s}, \frac{\partial s}{\partial \mathbf{W}^{(2)}}\right) \frac{\partial J}{\partial \mathbf{o}} \mathbf{h}^\top \lambda \mathbf{W}^{(2)}.∂W(2)∂Jprod(∂o∂J,∂W(2)∂o)prod(∂s∂J,∂W(2)∂s)∂o∂Jh⊤λW(2).为了获得关于W(1)\mathbf{W}^{(1)}W(1)的梯度我们需要继续沿着输出层到隐藏层反向传播。 关于隐藏层输出的梯度∂J/∂h∈Rh\partial J/\partial \mathbf{h} \in \mathbb{R}^h∂J/∂h∈Rh由下式给出 ∂J∂hprod(∂J∂o,∂o∂h)W(2)⊤∂J∂o.\frac{\partial J}{\partial \mathbf{h}} \text{prod}\left(\frac{\partial J}{\partial \mathbf{o}}, \frac{\partial \mathbf{o}}{\partial \mathbf{h}}\right) {\mathbf{W}^{(2)}}^\top \frac{\partial J}{\partial \mathbf{o}}.∂h∂Jprod(∂o∂J,∂h∂o)W(2)⊤∂o∂J.由于激活函数ϕ\phiϕ是按元素计算的 计算中间变量z\mathbf{z}z的梯度∂J/∂z∈Rh\partial J/\partial \mathbf{z} \in \mathbb{R}^h∂J/∂z∈Rh需要使用按元素乘法运算符我们用⊙\odot⊙表示 ∂J∂zprod(∂J∂h,∂h∂z)∂J∂h⊙ϕ′(z).\frac{\partial J}{\partial \mathbf{z}} \text{prod}\left(\frac{\partial J}{\partial \mathbf{h}}, \frac{\partial \mathbf{h}}{\partial \mathbf{z}}\right) \frac{\partial J}{\partial \mathbf{h}} \odot \phi\left(\mathbf{z}\right).∂z∂Jprod(∂h∂J,∂z∂h)∂h∂J⊙ϕ′(z).最后我们可以得到最接近输入层的模型参数的梯度 ∂J/∂W(1)∈Rh×d\partial J/\partial \mathbf{W}^{(1)} \in \mathbb{R}^{h \times d}∂J/∂W(1)∈Rh×d。 根据链式法则我们得到 ∂J∂W(1)prod(∂J∂z,∂z∂W(1))prod(∂J∂s,∂s∂W(1))∂J∂zx⊤λW(1).\frac{\partial J}{\partial \mathbf{W}^{(1)}} \text{prod}\left(\frac{\partial J}{\partial \mathbf{z}}, \frac{\partial \mathbf{z}}{\partial \mathbf{W}^{(1)}}\right) \text{prod}\left(\frac{\partial J}{\partial s}, \frac{\partial s}{\partial \mathbf{W}^{(1)}}\right) \frac{\partial J}{\partial \mathbf{z}} \mathbf{x}^\top \lambda \mathbf{W}^{(1)}.∂W(1)∂Jprod(∂z∂J,∂W(1)∂z)prod(∂s∂J,∂W(1)∂s)∂z∂Jx⊤λW(1).
反向传播范例
假设输入x 1.5模型初始参数w0.8b0.2。学习率为0.1则过程如下图 当有两层的时候
小结
前向传播在神经网络定义的计算图中按顺序计算和存储中间变量它的顺序是从输入层到输出层。反向传播按相反的顺序从输出层到输入层计算和存储神经网络的中间变量和参数的梯度。在训练深度学习模型时前向传播和反向传播是相互依赖的。训练比预测需要更多的内存。
前向传播计算图
其中正方形表示变量圆圈表示操作符。 左下角表示输入右上角表示输出。 注意显示数据流的箭头方向主要是向右和向上的。
