Hinton机器学习与神经网络2

Hinton机器学习与神经网络2

二、感知器的学习过程

1、神经网络架构介绍

前馈神经网络

信息从输入单元层开始，朝着一个方向传递，通过隐藏层直至输出层。

如果隐含层超过一层就称之为深度神经网络

循环神经网络

信息循环流动，这些网络可以长时间的记忆信息，还可以显示各种有意思的震荡。

循环神经网络的图结构中，包含了一定的有向环，所有更加难训练。

循环网络是对时序数据建模的一种非常好的方法，这使我们拥有了隐藏单元之间的联系。而在每一个时刻，当时的隐藏单元的状态决定了在下一个时刻的隐藏单元的状态。

双向对偶网络

在两个单元中的两个方向里的权重是相同的。

他们在特定任务上更容易添加约束条件，因为它们遵从一个能量函数。比如，不需要对环建模，不需要返回最开始的网络结构上。

2、感知器

感知机中的决策单元是一个二元阈值神经元。他们计算他们从其他神经元得到的输入的权值和他们添加一个偏置，以获得他们的总输入。如果总和超过零，他们就输出这个总和，否则就输出零。

3、感知器的几何空间解析

这个案例在二维图片中定义了一个空间，这个空间只是一条穿过原点的黑色的线，并且与输入向量垂直（蓝色）这个案例的正确答案是1。这个训练案例中，加权向量需要在超平面的正确一边，并且为了得到正确答案，需要在超平面的同一边是练习模型所指的方向。像绿色的加权向量，它和输入向量所成角度要小于90°，所以输入向量和加权向量的内积是一个正数，由于已经减去了阈值，可以表明这是一个正向样例（也就意味着输出结果的概率值）。如果像红色的加权向量一样在平面的错误一侧与输入向量所成角将会大于90°，所以加权向量和输入向量的内积便会是负数，这就是一个负样例，感知器便会显示错误或显示0.

在这个案例中，正确的答案是0.这里也有一个加权空间，这里输入案例在一次对应用黑线表示的平面。

将两个案例合在一起，任何可能的加权向量上都有一个锥平面，在锥平面里面的任意加权向量在这两个案例中都会得到正确的答案，但不会有像这样的代码出现，也不会有这样的加权向量在所有练习案例中都得到正确的答案。如果得到了一个对所有的练习案例都适用的向量，则这个向量在这个锥平面中，如果另一个加权向量也在锥平面中，则这两个加权向量的平均值也在这个锥平面上。意味着这个问题是一个凸优化问题。

4、感知器的原理透析

我们希望每次感受器出错时，我们元素的加权向量可以更接近于所有的可行向量。

我们要做的是定义一个全能的可行的加权向量，这个加权向量不仅可以在所有的练习案例中不出错，而且通过最少一个一定大小的间距就能得到正确答案，这个间距的长度在这个案例中和输入向量的长度一样，所有我取可行解的锥，而且在里面我有另一个锥形的全能可行的解决措施，这个措施纠正了所有错误。现在我们可以断定，每次感知器出错时，所有可行的权向量的平方距离将至少减少更新向量的平方长度也就是我们更新的内容。

在每次感知器出错元素加权向量从每一个全能的可行向量移动缩小了它的平方距离是通过最小电流输入向量的平方长度完成的。因此，所有的全能的可行权重向量的平方距离都减小了平方长度。

5、感知器的局限性

输入向量的平方长度完成的。因此，所有的全能的可行权重向量的平方距离都减小了平方长度。

5、感知器的局限性

感知器的局限性缘自你使用的各种特征，如果你使用了正确的特征你几乎可以做任何的事；如果你用了错误的特征，这些特征会急剧限制感知器学习特征的运行。