前向传播与反向传播的作用

在训练神经网络时，前向传播和反向传播相互依赖。
对于前向传播，我们沿着依赖的方向遍历计算图并计算其路径上的所有变量。
然后将这些用于反向传播，其中计算顺序与计算图的相反，用于计算w、b的梯度（即神经网络中的参数）。随后使用梯度下降算法来更新参数。

因此，在训练神经网络时，在初始化模型参数后， 我们交替使用前向传播和反向传播，利用反向传播给出的梯度来更新模型参数。

注意：

• 反向传播重复利用前向传播中存储的中间值，以避免重复计算。 带来的影响之一是我们需要保留中间值，直到反向传播完成。 这也是训练比单纯的预测需要更多的内存（显存）的原因之一。
• 这些中间值的大小与网络层的数量和批量的大小大致成正比。 因此，使用更大的批量来训练更深层次的网络更容易导致内存不足（out of memory）错误。

前向传播及公式

前向传播（forward propagation或forward pass） 指的是：按顺序（从输入层到输出层）计算和存储神经网络中每层的结果。

假设输入样本是 $\mathbf{x}\in {\mathbb{R}}^d$， 并且我们的隐藏层不包括偏置项。 这里的中间变量是：

$$\mathbf{z}={\mathbf{W}}^{(1)}\mathbf{x},$$

其中${\mathbf{W}}^{(1)}\in {\mathbb{R}}^{h\times d}$是隐藏层的权重参数。 将中间变量$\mathbf{z}\in {\mathbb{R}}^h$通过激活函数$\varphi$后， 我们得到长度为$h$的隐藏激活向量：
$$\mathbf{h}=\varphi (\mathbf{z}).$$

隐藏变量$\mathbf{h}$也是一个中间变量。 假设输出层的参数只有权重${\mathbf{W}}^{(2)}\in {\mathbb{R}}^{q\times h}$， 我们可以得到输出层变量，它是一个长度为$q$的向量：
$$\mathbf{o}={\mathbf{W}}^{(2)}\mathbf{h}.$$

假设损失函数为$l$，样本标签为$y$，我们可以计算单个数据样本的损失项
$$L=l(\mathbf{o},y).$$

根据$L_2$正则化的定义，给定超参数$\lambda$，正则化项为
$$s=\frac{\lambda }{2}\left(\Vert {\mathbf{W}}^{(1)}{\Vert }_F^2+\Vert {\mathbf{W}}^{(2)}{\Vert }_F^2\right),$$

其中矩阵的Frobenius范数是将矩阵展平为向量后应用的$L_2$范数。 最后，模型在给定数据样本上的正则化损失为：
$$J=L+s.$$

前向传播范例

反向传播及公式

反向传播（backward propagation或backpropagation）指的是计算神经网络参数梯度的方法。也称“BP算法”
简言之，该方法根据微积分中的链式规则，按相反的顺序从输出层到输入层遍历网络。
该算法存储了计算某些参数梯度时所需的任何中间变量（偏导数）。

假设我们有函数$\mathsf{Y}=f(\mathsf{X})$和$\mathsf{Z}=g(\mathsf{Y})$， 其中输入和输出$\mathsf{X},\mathsf{Y},\mathsf{Z}$是任意形状的张量。 利用链式法则，我们可以计算$\mathsf{Z}$关于$\mathsf{X}$的导数
$$\frac{\partial \mathsf{Z}}{\partial \mathsf{X}}=\text{prod}\left(\frac{\partial \mathsf{Z}}{\partial \mathsf{Y}},\frac{\partial \mathsf{Y}}{\partial \mathsf{X}}\right).$$

反向传播的目的是计算梯度$\partial J/\partial {\mathbf{W}}^{(1)}$和$\partial J/\partial {\mathbf{W}}^{(2)}$. 为此，我们应用链式法则，依次计算每个中间变量和参数的梯度。 计算的顺序与前向传播中执行的顺序相反，因为我们需要从计算图的结果开始，并朝着参数的方向努力。

1. 计算目标函数$J=L+s$相对于损失项$L$和正则项$s$的梯度
   $$\frac{\partial J}{\partial L}=1\text{and}\frac{\partial J}{\partial s}=1.$$
2. 根据链式法则计算目标函数关于输出层变量$\mathbf{o}$的梯度：
   $$\frac{\partial J}{\partial \mathbf{o}}=\text{prod}\left(\frac{\partial J}{\partial L},\frac{\partial L}{\partial \mathbf{o}}\right)=\frac{\partial L}{\partial \mathbf{o}}\in {\mathbb{R}}^q.$$
3. 计算正则化项相对于两个参数的梯度:
   $$\frac{\partial s}{\partial {\mathbf{W}}^{(1)}}=\lambda {\mathbf{W}}^{(1)}\text{and}\frac{\partial s}{\partial {\mathbf{W}}^{(2)}}=\lambda {\mathbf{W}}^{(2)}.$$
4. 计算最接近输出层的模型参数的梯度 $\partial J/\partial {\mathbf{W}}^{(2)}\in {\mathbb{R}}^{q\times h}$。 使用链式法则得出：
   $$\frac{\partial J}{\partial {\mathbf{W}}^{(2)}}=\text{prod}\left(\frac{\partial J}{\partial \mathbf{o}},\frac{\partial \mathbf{o}}{\partial {\mathbf{W}}^{(2)}}\right)+\text{prod}\left(\frac{\partial J}{\partial s},\frac{\partial s}{\partial {\mathbf{W}}^{(2)}}\right)=\frac{\partial J}{\partial \mathbf{o}}{\mathbf{h}}^{\top }+\lambda {\mathbf{W}}^{(2)}.$$
5. 为了获得关于${\mathbf{W}}^{(1)}$的梯度，我们需要继续沿着输出层到隐藏层反向传播。 关于隐藏层输出的梯度$\partial J/\partial \mathbf{h}\in {\mathbb{R}}^h$由下式给出：
   $$\frac{\partial J}{\partial \mathbf{h}}=\text{prod}\left(\frac{\partial J}{\partial \mathbf{o}},\frac{\partial \mathbf{o}}{\partial \mathbf{h}}\right)={{\mathbf{W}}^{(2)}}^{\top }\frac{\partial J}{\partial \mathbf{o}}.$$
6. 由于激活函数$\varphi$是按元素计算的， 计算中间变量$\mathbf{z}$的梯度$\partial J/\partial \mathbf{z}\in {\mathbb{R}}^h$需要使用按元素乘法运算符，我们用$\odot$表示：
   $$\frac{\partial J}{\partial \mathbf{z}}=\text{prod}\left(\frac{\partial J}{\partial \mathbf{h}},\frac{\partial \mathbf{h}}{\partial \mathbf{z}}\right)=\frac{\partial J}{\partial \mathbf{h}}\odot {\varphi }^{\prime }\left(\mathbf{z}\right).$$
7. 最后，我们可以得到最接近输入层的模型参数的梯度 $\partial J/\partial {\mathbf{W}}^{(1)}\in {\mathbb{R}}^{h\times d}$。 根据链式法则，我们得到：
   $$\frac{\partial J}{\partial {\mathbf{W}}^{(1)}}=\text{prod}\left(\frac{\partial J}{\partial \mathbf{z}},\frac{\partial \mathbf{z}}{\partial {\mathbf{W}}^{(1)}}\right)+\text{prod}\left(\frac{\partial J}{\partial s},\frac{\partial s}{\partial {\mathbf{W}}^{(1)}}\right)=\frac{\partial J}{\partial \mathbf{z}}{\mathbf{x}}^{\top }+\lambda {\mathbf{W}}^{(1)}.$$

反向传播范例

假设输入x = 1.5，模型初始参数w=0.8，b=0.2。学习率为0.1，则过程如下图：

当有两层的时候：

小结

• 前向传播在神经网络定义的计算图中按顺序计算和存储中间变量，它的顺序是从输入层到输出层。
• 反向传播按相反的顺序（从输出层到输入层）计算和存储神经网络的中间变量和参数的梯度。
• 在训练深度学习模型时，前向传播和反向传播是相互依赖的。
• 训练比预测需要更多的内存。

前向传播计算图

其中正方形表示变量，圆圈表示操作符。 左下角表示输入，右上角表示输出。 注意显示数据流的箭头方向主要是向右和向上的。