神经网络与机器学习之开篇续

一、神经网络中的反馈
前面我们已经接触了神经网络的基本概念、单个神经元的组成成分以及几种基本的激活函数。到此为止，对人工神经网络我们已经有了初步的概念，实际上用偏数学的术语来说，神经网络可以看成有向图。接下来介绍一下三种不同的基本网络结构。为了后面的理解，先看看什么是反馈。如下图所示

其中：

注：A、B扮演算子的角色
二、网络结构
神经网络网络中神经元的构造方式与用于训练网络的学习算法联系紧密。因此，可以说用于神经网络设计的学习算法（规则）是被构造的。
一般来说，有三种不同的网络结构：
1、单层前馈网络，如下图所示

2、多层前馈网络

图16的网络也可以称为完全连接网络，即相邻层的任意一对节点都有连接，否则称为部分连接网络。
3、递归网络，和前馈网络的区别在于它至少有一个反馈环

三、知识表示
1、知识就是人或机器存储起来以备使用的信息或模型，用来对外部世界作出解释、预测和适当的反应。
2、神经网络的一个主要任务就是学习它所依存的外部世界（环境）模型，并且保持该模型和真实世界足够兼容，使之能够实现感兴趣应用的特定目标。
3、神经网络结构中，周围环境的知识表示是由网络的自由参数（即突触权值和偏置）的取值所定义的，其是网络性能的关键。
四、知识表示的规则
人工网络中知识表示非常复杂，这里有四条通用的规则。
规则1 相似类别中的相似输入通常产生网络中相似的表示，因此可以归入同一类中。
规则2 网络对可分离为不同种类的输入向量给出差别很大的表示。
规则3 如果某个特征很重要，那么网络表示这个向量将涉及大量神经元。
规则4 如果存在先验信息和不变性，应该将其附加在网络设计中，这样就不必学习这些信息而简化网络设计。（但：将先验信息结合进神经网络设计会限制神经网络仅能应用于根据某些感兴趣的知识来解决特定问题。）

注意：

五、在神经网络中加入先验信息
现在还没有一种有效的规则来实现网络中加入先验信息，更多通过某些特定的过程来实现，特别是使用下面两种技术的结合：
1、通过使用称为接收域的局部连接，限制网络结构。
2、通过使用权值共享，限制突触权值的选择。
这两种方法，特别是后一种，有很好的附带效益，它能使网络自由参数的数量显著下降。

六、在网络设计中建立不变性

至少可以使用三种技术使得分类器类型的神经网络对变换不变：
1、结构不变性：具体来说，就是在建立神经元突触连接时要求同一输入变换后必须得到同样的输出（比如，图像分类两张关于中心对称的图，要有相同的输出），但结构不变性会使网络中连接数目变得很大。
2、训练不变性：用一些来自同一目标的不同样本来训练网络，这些样本代表目标的不同变换（即目标的不同方面）。训练不变性有两方面工程上的不足，一是一个网络训练后对已知变换的目标有不变性，不一定保证对其他类型目标的变换也有不变性；二是网络计算要求很难达到，特别在高维特征空间中。
3、不变特征空间：提取表示输入数据本质信息内容特性的特征，并且这些特征对输入的变换保持不变。特征空间不变性的三个好处，第一、适用于网络特征数可以降低到理想水平。第二、网络设计的要求放宽了。第三、所有目标的已知变换的不变性都得到保证。

七、学习过程
神经网络的学习过程也分为两类：有教师学习（监督学习）和无教师学习，后者又可分为无监督学习和强化学习两个子类。
八、学习任务
对特定学习规则的选择与神经网络需要完成的学习任务密切相关。
基本的学习任务主要有：

1. 模式联想：自联想（无监督学习方式），异联想（监督学习方式）。
2. 模式识别：将接收到的模式或信号确定为一些指定类别中的一个类。
   
3. 函数逼近
4. 控制：对设备进行控制操作（这里的设备指一个过程或者是可以在控制条件下维持运转的系统的一个关键部分）。
5. 波束形成：用来区分目标信号和背景噪声之间的空间性质。