深度学习&图像处理（神经网络结构优化5）

神经网络结构优化设计方法与研究

1.研究背景

• BP算法与RBF算法

BP全称BackPropagation，也就是误差反向传播算法，它的基本思想是梯度下降法，采用梯度搜索技术，通过链式求导法则，最终使得网络输出和期望输出的误差方差最小，是由学习过程由信号的正向传播与误差的反向传播两个过程组成。由于多层前馈网络的训练经常采用误差反向传播算法，人们也常把将多层前馈网络直接称为BP网络。

径向基函数(Radial Basis Function,RBF)神经网络是一种三层网络。其学习过程和BP算法类似，二者主要区别在于隐藏层的激活函数不同，BP算法的是sigmod函数，RBF的是高斯基函数；还有就是BP算法是全局的逼近，每次学习都要进行所有网络连接的权重迭代更新，RBF是一种局部逼近，其输入层到输层是非线性映射，但其隐藏层到输出层是线性映射的，且输入层到隐藏层直接求和，不需要参数迭代。但综合而言，BP算法应用较为广泛。

• 神经网络目前存在的最大问题是泛化

当我们找到一些训练样本对神经网络进行训练后，通常存在两个问题：训练样本分布不均匀，并不能代表全部样本；网络训练得到的经验只是对训练样本温和。所以面对测试样本时会有测试误差，面对未知样本时，则会有泛化误差。而我们目前最大的问题就是提高神经网络的泛化性能。而优化神经网络如果能和生物学机制相结合，将有很大的进步。

2.基于信息熵的子网络结构设计

3.局部互连BP神经网络结构设计

4.自组织模块化神经网络结构设计

5.相关名词解释

• 类脑：利用神经形态计算来模拟人类大脑处理信息的过程，它是人工智能的终极目标。
• PID：比例积分微分控制，简称PID控制，是最早发展起来的控制策略之一，由于其算法简单、鲁棒性好和可靠性高，被广泛应用于工业过程控制，至今仍有90%左右的控制回路具有PID结构。
• 误差曲面：误差函数在数据集确定的情况下可以看做是权重的函数，在权重空间的基础上加入误差维度，然后所有<权重，误差>点组成的曲面即为误差曲面。通常情况下，示意图中纵坐标用于指示误差，而横坐标表示权重。
• 模块化神经网络：是一个由多个模块组成的神经网络,每个模块承担神经网络的全局任务的一个子任务,通过各个网络之间的竞争或协作来提高系统的整体性。
• 软测量：软测量把是生产过程知识有机的结合起来，应用计算机技术对难以测量或者暂时不能测量的重要变量，选择另外一些容易测量的变量，通过构成某种数学关系来推断或者估计，以软件来替代硬件的功能。
• 宽度神经网络：研究较少，常用于视频处理。
• 空间网络：神经网络结构有基于深度的和宽度的，也可以基于空间网络。
• dynamic core theory(动态核心理论)
• 时变数据流：数据流最初是通信领域使用的概念，代表传输中所使用的信息的数字编码信号序列。相对而言，有静态数据流
• 子网络结构设计：子网络是一个较大网络中可辨识的一个单独部分，子网络结构设计是值得研究的领域。
• ESN：Electronic Serial Number，电子序列号。