梯度下降法（Gradient descent）是一个一阶最优化算法，通常也称为最速下降法。 要使用梯度下降法找到一个函数的局部极小值，必须向函数上当前点对应梯度（或者是近似梯度）的反方向的规定步长距离点进行迭代搜索。如果相反地向梯度正方向迭代进行搜索，则会接近函数的局部极大值点；这个过程则被称为梯度上升法。

方向角与方向余弦

方向角

向量（或有向直线）与坐标轴正向或基向量的交角称为向量的方向角。定义域为$[0,\pi ]$。

方向余弦

$\{\begin{array}{l}\cos \alpha =\frac{x}{|r|}\\ \cos \beta =\frac{y}{|r|}\\ \cos \gamma =\frac{z}{|r|}\end{array}$
且有${\cos }^2\alpha +{\cos }^2\beta +{\cos }^2\gamma =1$

方向导数

定义

给定标量函数$f(x,y,z)$，和任意向量$\vec{l}$，该向量与三个坐标轴的夹角分别为$\alpha$、$\beta$、$\gamma$，从定义域中一定$P_0(x,y,z)$出发，沿着向量$\vec{l}$方向移动距离$\Delta s$，到达点$P_1(x+\Delta s\cos \alpha ,y+\Delta s\cos \beta ,z+\Delta s\cos \gamma )$，定义方向导数：
$\frac{df}{d\vec{l}}={\lim }_{\Delta s\to 0}\frac{f(x+\Delta s\cos \alpha ,y+\Delta s\cos \beta ,z+\Delta s\cos \gamma )-f(x,y,z)}{\Delta s}$

代表函数$f$在方向$\vec{l}$的变化率。

性质

$\begin{array}{rl}\frac{df}{d\vec{l}}& =\frac{\partial f}{\partial x}\cos \alpha +\frac{\partial f}{\partial y}\cos \beta +\frac{\partial f}{\partial z}\cos \gamma \\ & \\ & =(\frac{\partial f}{\partial x},\frac{\partial f}{\partial y},\frac{\partial f}{\partial z})\cdot (\cos \alpha ,\cos \beta ,\cos \gamma )=\nabla f\cdot \vec{n}=|\nabla f|\cos ⟨\nabla f,\vec{l}⟩\end{array}$

当$\vec{l}$取$f$的梯度方向时，$\cos ⟨\nabla f,\vec{l}⟩=1$，变化率绝对值最大且为正；当$\vec{l}$取$f$的负梯度方向时，$\cos ⟨\nabla f,\vec{l}⟩=-1$，变化率绝对值最大且为负。

梯度下降

应用场景：求损失函数的最小值。
梯度下降的具体算法实现过程是：

1、确定模型和损失函数；
2、参数初始化，包括：参数、算法终止条件和步长；
3、参数更新${\theta }_{j+1}={\theta }_j-\alpha \frac{\partial J}{\partial {\theta }_j}$
4、判断停止条件，若满足，则停止，若不满足，则继续更新。