广州公司建设网站,p2p网站开发用什么平台,网站建设的主要流程步骤,网站建设公司怎么发展新客户一、人工神经网络简介
1、神经网络起源与应用 1943年心理学家McCulloch和数学家Pitts提出神经元生物数学模型#xff08;M-P模型#xff09;#xff0c;后来人工神经网络(Artifical Neural Network,ANN)是在生物神经网络(Biological Neural Network,BNN)基础上发展起来的M-P模型后来人工神经网络(Artifical Neural Network,ANN)是在生物神经网络(Biological Neural Network,BNN)基础上发展起来的是对人脑的某种抽象、简化和模拟是模拟人的智能的一种途径。 神经元是神经网络的基本处理单元一个简化的神经元是多输入、单输出的非线性元件大量的神经元互联而成的神经网络非线性元件在人工智能和机器自学习、自组织、联想以及容错方面具有强大的能力。
2、人工神经元的工作原理
大脑的神经细胞由细胞体(soma)、一些树突(dendrite)和一根可以很长的轴突Axon组成树突由细胞体的各个方向长出本身可有分支是用来接受信号的轴突也有许多分支通过分支末梢(terminal)和其它细胞的树突接触形成突触把产生的信号传送给其它细胞如图1所示。 图(1) McCulloch-Pitts网络
大脑的神经元细胞只有两种状态兴奋和压抑。神经细胞把所有从树突上突触进来的信号进行相加如果全部信号超过某个阈值就会激发细胞进入兴奋状态就会有信号通过轴突发送信号给其它细胞。如果信号没有超过阈值细胞就不会兴奋。
模拟大脑的人工神经网络是采用神经元组成的神经元是人工神经网络的基本处理单元它一般是一个多输入/多输出的非线性元件。神经元输出受到输入信号和内部其它因素的影响所以人工神经元的建模中常常还有一个额外的输入信号称为偏差bais有时也称为阀值或限值。
人工神经网络模拟生物神经元的一阶特性人工神经元有n个输入即输入为X(x1,x2,…,xn),连接权为W(w1,w2,…,wn)T,神经元输出为采用向量的形式即NetX·W-θ.
3、神经网络结构
三层前馈神经网络的构造由三层排列分别是输入层、隐含层中间层和输出层。每一层的神经元接受来自前一层神经元的输出作为输入后面层对前面的层没有反馈。感知器网络和BP网络均属前馈网络。 三层前向神经网络结构
4、神经网络常用激励函数
激励函数又称激活函数或传递函数通常有三种
1阀值型
这里函数一般用在简单的分类模型中。
2线性型
f(x)x 一般只用在输入神经元和输出神经元。
3S型 常用于隐含层第一个为logsig函数第二个为logtan函数。都是光滑函数且第一个函数满足
二、常见神经网络理论
1、BP神经网络
BP(Back propagation)神经网络又称前向反馈神经网络主要是网络训练中调整权值和阀值的训练算法时反向传播算法即BP学习算法也是神经网络的精华和完美的内容。 BP神经网络是一种有三层或三层以上的神经网络概括输入层、中间层隐含层和输出层上下层之间全连接同层之间神经元无连接。 当一对学习样本提供给输入层神经元后神经元的激活值该层神经元的输出值从输入层经过各隐含层神经元向输出层传播在输出层获得网络的输入响应然后按照减少网络输出与实际样本样本之间误差的反向从输出层反向经过隐含层回到输入层从而逐步修正连接权值这种算法称为“误差反向传播算法”即BP算法。随着这种误差逆向传播修正的反复进行网络对输入模式相应的正确率不断上升BP算法的核心是“负梯度下降”理论即BP神经网络的误差调整总是沿着误差下降最快的方向进行。 为了更好地理解BP神经网络我们来看一个简单的例子假设我们要训练一个网络来判断一张图片中的数字是1还是0。 首先我们将每个像素点作为输入层的一个神经元并将它们与隐藏层的每个神经元连接起来。隐藏层可以有多个神经元影响网络的复杂度和表示能力。 然后我们将隐藏层的每个神经元与输出层的两个神经元代表数字1和0相连。 在训练过程中我们将输入一张图片网络将对其进行前向传播即通过网络计算出预测结果。然后我们将预测结果与实际标签进行比较并计算出损失函数通常使用交叉熵损失来衡量预测的错误程度。 接下来反向传播算法将根据损失函数的梯度来调整每个连接的权重以减小损失函数的值。这个过程会逐渐优化网络的预测能力使得网络能够更准确地判断输入图片中的数字是1还是0。 通过不断迭代上述步骤网络学习到的权重参数将使其在对新的图片进行数字分类时具有较好的准确性。 2、径向基网络 RBF(Radical Basis Function)神经网络。生物学中中枢神经元的感受视野是指能影响某一神经元反应的视网膜或视野的区域。视网膜上的感受器杆体细胞和锥体细胞通过接受光并将它转换为神经输出信号从而不同程度地激活众多神经节细胞、外膝状体细胞以及视觉皮层中的神经细胞。RBF神经网络是模拟视网膜的感受功能而产生的其基本特征是 1距离感受视野中心的越近视神经元越兴奋距离感受中心越远视神经元响应越消极 2视神经元的激活区域呈现径向对称。 综上所述隐含层的视神经元的刺激函数常用高斯函数即i为隐含层第i神经元
而输入和输出则采用线性激励函数。其中x为输入样本ci为感受视野中心σ为宽度exp( )为隐含层输出。 RBF学习方法 聚类方法 首选k聚类即先用k—means方法确定网络数据的中心然后根据各数据与中心的距离确定隐含层神经元函数的宽度。梯度训练法 根据能量函数使用负梯度训练原理自行调节各神经元的数据中心、宽度、权值。正交最小二乘(OLS)训练方法依据能量的贡献使各隐含层神经元的基函数之间趋于正交从而使基函数之间没有信息冗余和性能相互嵌套。
