响应式网站建设效果,如何在网盘上做网站,潍坊网站推广排名,网站建设项目详情激活函数
作用#xff1a;主要引入了非线性。从而能解决很复杂的非线性关系。能更好地处理现实世界的数据和任务。
向前传播
向前传播描述了#xff0c;神经网络中#xff0c;输入层到输出层的信号传播和处理过程。输入层将特征数据输入#xff0c;加权求和#xff0c;…激活函数
作用主要引入了非线性。从而能解决很复杂的非线性关系。能更好地处理现实世界的数据和任务。
向前传播
向前传播描述了神经网络中输入层到输出层的信号传播和处理过程。输入层将特征数据输入加权求和然后通过激活函数引入非线性然后得到输出。输出到隐藏层。 隐藏层的输入就是输入层的输入。隐藏层经过多层传递最后到输出层。 输出层将隐藏层的输出作为输入。经过加权和偏置然后求和。然后传递给激活函数激活函数将数据映射成非线性的。最后输出。输出结果得到的就是预测结果。将预测结果放入损失函数计算损失值。
损失函数
损失函数就是计算预测值与实际值之间的差距。不同的任务需要使用不同类型的损失函数 均方误差回归任务 交叉熵损失分类任务 对数损失二分类问题 Hinge loss衡量分类边界与正确分类间隔的差异。
梯度下降
梯度下降是我们深度学习最常用的优化手段。用于调整模型参数到损失函数值到 最小。主要步骤如下 1、初始化参数 2、计算损失函数 3、计算梯度 4、调整参数 5、重复迭代直至损失函数收敛 梯度下降的类型: 1、批量梯度下降准确效率低 2、随机梯度下降不准确效率高 3、小批量梯度下降较准确效率高
