英文企业网站带后台有数据库,北京网站建设价格便宜,百度云盘登录入口,硬件开发工程师面试此前篇章#xff1a;
神经网络中常用的激活函数
神经网络#xff08;系统性学习一#xff09;#xff1a;入门篇 单层神经网络#xff08;又叫感知机#xff09;
单层网络是最简单的全连接神经网络#xff0c;它仅有输入层和输出层#xff0c;没有隐藏层。即#x…此前篇章
神经网络中常用的激活函数
神经网络系统性学习一入门篇 单层神经网络又叫感知机
单层网络是最简单的全连接神经网络它仅有输入层和输出层没有隐藏层。即网络的所有输入直接影响到输出。
结构输入层 → 输出层
特点 只适用于线性可分问题。即单层网络只能学习并解决线性可分的问题例如二维平面上的两类点可以通过一条直线分开。 单层感知机的输出由输入的加权和经过激活函数如sigmoid产生。
优点结构简单计算量较小。
缺点无法解决非线性问题如XOR问题异或问题。因为单层网络只能找到线性决策边界无法处理更复杂的模式。 详细讲解
感知机最初设计用于二分类问题用来判断输入样本属于正类还是负类。
1、模型结构
感知机的输入 输入特征向量 权重向量 偏置b
通常我们还有一个0项权重或者说常数项 即对应的权重。这里我们忽略这一非重点的常数项。
加权和感知机通过将输入特征与权重进行加权求和再加上偏置项得到一个总和值。 激活函数通常是符号函数signz 感知机模型的输出为 2、基本步骤
感知机的学习过程是个迭代优化过程通过不断调整权重和偏置使模型能够正确分类训练数据。
1、初始化权重和偏置
在训练开始前感知机的权重 w1,w2,...,wn 和偏置 b 通常被初始化为小的随机值或者初始化为零。学习率 η也是一个超参数通常设置为一个小的正数如 0.01 或 0.1。
2、对每一个样本计算加权和 3、通过激活函数预测样本分类标签 4、误差计算与权重更新反向传播
对于每一个样本如果预测分类结果正确则不更新权重和偏置。否则利用预测误差更新权重和偏置 这里的更新规则是通过误差来调整权重和偏置。如果分类正确即 则权重和偏置不发生变化。
5、迭代过程epoch
对于每个训练样本逐个计算加权和、应用激活函数、更新权重和偏置。每一轮迭代会对所有训练样本进行一次更新。通常需要多轮迭代才能训练出一个合适的模型。
停止条件为 达到最大迭代次数 在某一轮迭代中没有发生任何权重更新即所以样本都分类正确。 具体例子
假设我们有以下一个简单的训练数据集。 初始化时设定权重 w10.1w20.2偏置 b0学习率 η0.01。
第一轮迭代
对于样本1计算加权和z0.1×20.2×300.8。 激活函数输出 与真实标签一致因此不更新权重。
对于样本2计算加权和z0.1×10.2×100.3。激活函数输出 但真实标签是 -1所以发生分类错误。更新权重和偏置 对于样本3计算加权和z0.08×30.18×1−0.020.4。激活函数输出 与真实标签一致因此不更新权重。
第二轮迭代
...
一直迭代。
直到所有样本分类正确或达到停止条件得到了我们要的 w 和 b # 若文章对大噶有帮助的话点个赞支持一下叭
