学习了《神经网络模型及其matlab仿真程序设计》总结思考

在详细学习了《神经网络模型及其matlab仿真程序设计》后，看了几遍，做了两遍，共计二十多页的A4纸正反面的学习笔记。第一遍详细学校网络原理；第二遍总结思考。之后写了一些感悟于斯。

感觉本书是一种入门级别的书；书中介绍了神经网络模型的发展从感知器，到线性，到BP，到径向基，到竞争，到自组织，到hopfield。最初感知器，BP网络模型的介绍详细，训练过程叙述清晰，算法分析比较透彻；后期一些复杂网络只是简单的介绍了一些机理，了解其大致的思路。

此外matlab程序验证部分，程序验证简单，数据量小；有些程序运行结果和书中给出的结果相差很大。粗略比较各个改进算法的收敛时间和速度，其中杂BP网络的对比中，在函数逼近拟合中，算法不同对于结果的收敛性有很大的影响。首先，传统的梯度下降算法，感觉很不好，收敛速度慢，而且在多次迭代后达不到要求的精度；其次，学习率对于算法的收敛速度有很大的影响，在变学习率算法中，动量算法和梯度算法收敛速度有了很大的提高。再次，二阶的拟牛顿算法有着惊人的收敛速度，充分说明算法机理的不同，对于结果有很大的影响。处理少的算法，例如梯度算法等，需要内存少，但是迭代次数很多；处理多的算法，如变梯度，PROP，拟牛顿，lm等算法，每次迭代都需要，搜索计算，需要较大的内存空间，但是收敛速度很快。说明，简单直接就得很累，而且结果不一定好；三思而后行，则步步为营。

在有导师学习算法中，线性和BP等都是运用近点的权值和输入向量运算后再喝阈值结合，通过相应的函数，例如purelin，S型函数等运算输出，之后采用批量误差函数mse，来达到误差最小的目的。