基于 eigen 实现神经网络的反向传播算法（2）

原创

已于 2024-10-23 23:21:42 修改 · 787 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#神经网络 #算法 #人工智能

于 2022-02-15 23:30:03 首次发布

本文介绍了基于《神经网络设计》中马丁·哈根章节12提出的改进神经网络反向传播算法，包括动量优化（MOBP）、可变学习速度（VLBP）和共轭梯度法（CGBP），以提升速度和收敛性。实验结果显示VLBP在处理特定波形数据时效果不理想，有待进一步优化。

前文展示了基于 Martin H. Hagan 的《神经网络设计》 ch11 所述的多层神经网络的基本反向传播算法（SDBP）的实现和部分测试结果。在对其例题函数的训练测试中我也发现了该文CH12提到的速度不佳及收敛性问题。其中收敛问题根本上影响的算法的有效性。

本文将展示该书CH12提到的改进算法，改进的目标即速度与收敛性。改进算法有以下几种

引入动量的反传算法 MOBP （启发式优化技术）
可变学习速度的反传算法 VLBP （启发式优化技术）
共轭梯度反传算法 CGBP（数值优化技术）
LevenBurg Marquardt反传算法 LMBP（数值优化技术）

代码依然基于前文代码修改并兼容基本算法。由于网络结构图与之前相同，此处省略。

MOBP

首先实现导入动量 gamma的反传算法，基于SDBP算法导入动量十分简单。实现如下：

在原有每层数据结构中增加 deltaW和deltaB，用于记录上一次计算中 W的变化量。

/**
*  定义每一层神经网络的参数定义
*/
template <typename T, typename VECTOR, typename MATRIX>
struct tag_NN_LAY_PARAM {
	T(*func)(T); //  限定函数指针，
	T(*dfunc)(T); //  限定函数指针， // Derivative
    MATRIX  W;
    MATRIX  deltaW; // for MOBP
    VECTOR  B;
    VECTOR  deltaB;
	VECTOR  N;
	VECTOR  A;
	VECTOR  S;
};
typedef struct tag_NN_LAY_PARAM<float, VectorXf, MatrixXf>   NN_LAYER_PARAM_F;
typedef struct tag_NN_LAY_PARAM<double, VectorXf, MatrixXf>   NN_LAYER_PARAM_D;

在原算法中增加 gamma 加权，当gamma为0时，算法退化为 SDBP。

/**
*   P 11.2.2  反向传播算法 BP Back Propagation
*   最终公式参考 （ 11.41 ~ 11.47 ）
*  S1:     A[m+1] = p
*          A[m+1] = f[m+1]( W[m+1]*A[m]+b[m+1] ),        m=0,1,2,...,M-1
*  S2:     S[M]   = -2F[M]'(n[M])( T-A[M] )
*          S[m]   = F[m+1]'(n[m])*(W[m+1]的转置)*S[m+1], m=M-1,...,2,1
*  S3:     W[m](k+1) = W[m](k) - a*S[m]*(A[m-1]的转置)
*          b[m](k+1) = b[m](k) - a*S[m]
*
*  Input Paramenters :
*    [in]     P  : m x n 样本输入矩阵， 每列代表样本数据，有n个样本
*                  P x m个向量的取值仅限 { -1, +1 }
*    [in]     T  : p x n 目标矩阵，

最低0.47元/天解锁文章