bp神经网络 损失函数,bp神经网络参数优化

BP神经网络在线学习的误差计算方法

标准BP算法中，每输入一个样本，都要回传误差并调整权值，这种对每个样本轮训的方法称为“单样本训练”。

由于单样本训练遵循的是只顾眼前的“本位主义”原则，只针对每个样本产生的误差进行调整，难免顾此失彼，使训练次数增加，导致收敛速度过慢。

因此，有另外一种方法，就是在所有样本输入之后，计算网络的总误差，再根据总误差调整权值，这种累积误差的批处理方式称为“批训练”或“周期训练”。在样本数较多时，批训练比单样本训练的收敛速度更快。

BP人工神经网络方法

（一）方法原理人工神经网络是由大量的类似人脑神经元的简单处理单元广泛地相互连接而成的复杂的网络系统rbsci。理论和实践表明，在信息处理方面，神经网络方法比传统模式识别方法更具有优势。

人工神经元是神经网络的基本处理单元，其接收的信息为x1，x2，…，xn，而ωij表示第i个神经元到第j个神经元的连接强度或称权重。

神经元的输入是接收信息X＝（x1，x2，…，xn）与权重W＝｛ωij｝的点积，将输入与设定的某一阈值作比较，再经过某种神经元激活函数f的作用，便得到该神经元的输出Oi。

常见的激活函数为Sigmoid型。

人工神经元的输入与输出的关系为地球物理勘探概论式中：xi为第i个输入元素，即n维输入矢量X的第i个分量；ωi为第i个输入与处理单元间的互联权重；θ为处理单元的内部阈值；y为处理单元的输出。

常用的人工神经网络是BP网络，它由输入层、隐含层和输出层三部分组成。BP算法是一种有监督的模式识别方法，包括学习和识别两部分，其中学习过程又可分为正向传播和反向传播两部分。

正向传播开始时，对所有的连