东莞网站建设方案表,珠海响应式网站建设推广公司,网站开发建立站点,wordpress cas认证概念
激活函数是神经网络中的一个重要组成部分#xff0c;它引入了非线性性质#xff0c;使得神经网络可以学习和表示更复杂的函数关系。激活函数对于将输入信号转换为输出信号起到了关键作用#xff0c;它在神经元的计算过程中引入了非线性变换。
几种常见的激活函数及其…概念
激活函数是神经网络中的一个重要组成部分它引入了非线性性质使得神经网络可以学习和表示更复杂的函数关系。激活函数对于将输入信号转换为输出信号起到了关键作用它在神经元的计算过程中引入了非线性变换。
几种常见的激活函数及其特点
Sigmoid函数 Sigmoid 函数将输入映射到一个 0 到 1 的范围它的公式是f(x) 1 / (1 exp(-x))。 特点Sigmoid 函数在输入很大或很小时输出接近于0或1适合用于输出层进行二分类问题的概率估计。但它在远离零点时梯度接近于零可能导致梯度消失问题。
ReLU函数Rectified Linear Unit ReLU 函数将负数输入变为零非负数输入保持不变它的公式是f(x) max(0, x)。 特点ReLU 对于正数输入有很强的激活作用能够缓解梯度消失问题。但存在一个问题即在训练过程中可能出现“神经元死亡”现象即某些神经元永远不会被激活。
Leaky ReLU函数 Leaky ReLU 是对 ReLU 的改进它在负数区域引入一个小的斜率公式是f(x) x (x 0)f(x) ax (x 0)其中 a 是一个小于 1 的常数。 特点Leaky ReLU 克服了 ReLU 的神经元死亡问题但仍然能够引入一些非线性。
Tanh函数双曲正切函数 Tanh 函数将输入映射到 -1 到 1 的范围公式是f(x) (exp(x) - exp(-x)) / (exp(x) exp(-x))。 特点Tanh 函数可以将输入的负值映射到负区间适合用于隐藏层中。但仍然存在梯度消失问题。
Softmax函数 Softmax 函数将一组实数映射到概率分布用于多分类问题。它的公式是f(x_i) exp(x_i) / sum(exp(x_j))其中 i 表示第 i 个类别。 特点Softmax 函数用于多分类输出将神经网络的输出转换为概率分布。
代码实现
import numpy as npdef sigmoid(x):return 1 / (1 np.exp(-x))
import numpy as npdef relu(x):return np.maximum(0, x)
import numpy as npdef leaky_relu(x, alpha0.01):return np.where(x 0, x, alpha * x)
import numpy as npdef tanh(x):return np.tanh(x)
import numpy as npdef softmax(x):exp_x np.exp(x - np.max(x, axis-1, keepdimsTrue))return exp_x / np.sum(exp_x, axis-1, keepdimsTrue)
