机器学习（八）：神经网络（1）

关注

VIP免费原创最新推荐文章于 2025-08-02 19:33:53 发布 3k 阅读 AI 写同款· GEO 优化 ›

神经网络和深度学习（二）——一个简单的手写数字分类网络一个简单的手写数字分类网络接上一篇文章，我们定义了神经网络，现在我们开始手写体的识别。我们可以将识别手写数字这个问题划分为两个子问题，一，我们需要将一幅包含了许多数字的图像分解为一系列独立的图像，每一幅图像包含了一个数字。比如，我们需要把下图分解：将该图分解为6幅独立的图像：我们人可以很轻松的将其分开，但是计算机可不那么认为。一旦图片被分割后，程序需要将每个数字单独识别。因此，举个例阅读详情

（主要参考书籍《神经网络与深度学习》）

1. 什么是神经网络

1.1 从感知器说起……

什么是感知器？很简单，前面我们已经说过了：
这里写图片描述

o u t p u t = s i g n (w T x)

$output=sign(w^Tx)$
什么意思呢？我们有一些输入，我们会根据这些输入做出一个决定：YES OR NOT。我们可能会想这么简单有什么用呢？那我们得想一下电脑——CPU和人脑的组成了。

先从简单的CPU说起：只需要简单与或非三个门电路，我们就能组合出足够复杂的CPU！同理，只要我们把感知器视为一个个单元，经过组合，就能模拟实现足够复杂的功能。
用感知器实现与或门：
这里写图片描述
假设 $x_1,x_2\in\{0,1\}$ ,
只要令 $w=(-1,1,1)^T$ ，输出 $y=sign(-1+x_1+x_2)$ ——这就是一个与门；
只要令 $w=(-1,2,2)^T$ ，输出 $y=sign(-1+2x_1+2x_2)$ ——这就是一个或门；

只要令 $w=(1,-2)^T$ ，输出 $y=sign(1-2x_1)$ ——这就是一个非门；

有了这三个基本元件，我就就可以用感知器组合出无限复杂的数字电路！譬如异或门： $XOR(x_1,x_2)=OR(AND(NOT(x_1),x_2), AND(x_1,NOT(x_2))$
但是呢，这里注意一点。异或是由NOT-AND-OR三种基本单元串联/级联而成。无论与或非门怎么并联也无法实现复杂的功能。所以说，只有当多个感知器按层次组织起来的时候，才能发挥出巨大的功能。

再说人脑。我们知道人脑是由很多神经元以某种复杂结构组合而成。当信号刺激某一神经元，且刺激强度超过某一阈值，那么此神经元就会被激活，将传导冲动到与它先连接的神经元。——每个神经元与上述的感知器类似。

根据上面的论述，我们知道感知器应该以类似如下的形式组织：
这里写图片描述
第⼀列感知器——我们称其为第⼀层感知器——通过权衡输⼊依据做出三个⾮常简单的决定。那第⼆层的感知器呢？每⼀个都在权衡第⼀层的决策结果上做出决定。以这种⽅式，⼀个第⼆层中的感知器可以⽐第⼀层中的做出更复杂和抽象的决策。在第三层中的感知器甚⾄能进⾏更复杂的决策。以这种⽅式，⼀个多层的感知器⽹络可以从事复杂巧妙的决策。这种形式称为神经网络。

理论上来讲，神经网络可以实现任何函数。

1.2 神经网络的基本形式

通过将感知器与与非门的对比，看起来感知器只是另一种形式的逻辑电路——跟传统电路没什么区别。其实不然。

感知器运算的通⽤性既是令⼈⿎舞的，⼜是令⼈失望的。令⼈⿎舞是因为它告诉我们感知器⽹络能和其它计算设备⼀样强⼤。但是它也令⼈失望，因为它看上去只不过是⼀种新的与⾮⻔。

然⽽，实际情况⽐这⼀观点认为的更好。其结果是我们可以设计学习算法，能够⾃动调整⼈⼯神经元的权重和偏置。这种调整可以响应外部的刺激，⽽不需要⼀个程序员的直接⼲预。这些学习算法是我们能够以⼀种根本区别于传统逻辑⻔的⽅式使⽤⼈⼯神经元。有别于显式地设计与⾮或其它⻔，我们的神经⽹络能简单地学会解决问题，这些问题有时候直接⽤传统的电路设计是很难解决的。

1.2.1 S型神经元/感知器

（下文中我们将神经元与感知器混用，其含义是一致的。）
根据上面的论述，我们知道神经网络的关键在于设计学习算法来自动调整权重和偏置。更确切地说，任何权重（或偏置）中的微小改变能引起一个输出的微小改变——这是学习算法能自动调整权重和偏置的基础：
这里写图片描述
假设我有一个神经网络用于手写数字识别。现在输入一个手写字图像“8”，它的输出是“9”。那么我们可以根据“对权重（或者偏置）的微⼩的改动仅仅引起输出的微⼩变化”，我们能够计算出怎么对权重和偏置做些⼩的改动，这样⽹络能够接近于把图像分类为“ 8”。然后我们要重复这个⼯作，反复改动权重和偏置来产⽣更好的输出。这时⽹络就在学习。

但是对于我们的感知器，“对权重（或者偏置）的微⼩的改动仅仅引起输出的微⼩变化”这件事不会发生。根据 $f(x)=sign(w^Tx+b)$ ，⽹络中单个感知器上⼀个权重或偏置的微⼩改动有时候会引起那个感知器的输出完全翻转，如 0 变到 1。那样的翻转可能接下来引起其余⽹络的⾏为以极其复杂的⽅式完全改变。因此，虽然你的“ 9”可能被正确分类，⽹络在其它图像上的⾏为很可能以⼀些很难控制的⽅式被完全改变。这使得逐步修改权重和偏置来让⽹络接近期望⾏为变得困难。也许有其它聪明的⽅式来解决这个问题。但是这不是显⽽易⻅地能让⼀个感知器⽹络去学习。

问题出在了sign函数阶跃性上，我们如果选用一个平滑的函数来代替sign函数，那么问题就得到了解决，根据我们在logistic regression算法的讲述，我们知道s型函数就是一个非常好的选择。这里我们用σ来表示： $\sigma(x)=\frac 1 {1+exp(-x)}$
这里写图片描述

1.2.2 神经网络基本构架

这里写图片描述
其中的每个单元都是S型神经元。
这个⽹络中最左边的称为输⼊层，其中的神经元称为输⼊神经元。最右边的，即输出层包含有输出神经元，中间层，既然这层中的神经元既不是输⼊也不是输出，则被称为隐藏层。

输入层就是输入空间x，如果是64*64手写数字图像，那么输入层神经元为4906，且数值为像素的灰色值。输入层非常直观简单。

输出层
如果是二分类问题，则输出层只需要一个神经元即可，回答0/1。
但是对于手写数字图像来说，我们要识别数字，这是一个10分类问题，那么直觉上来说输出层需要10个神经元，输入为一个向量。其中 $(1,0,0,0,0,0,0,0,0,0)^T$ 表示输出为0，…， $(0,0,0,0,0,0,0,0,0,9)^T$ 表示输出为9。

那么一个自然而言的问题是：⼀个看起来更⾃然的⽅式就是使⽤ 4 个输出神经元，把每⼀个当做⼀个⼆进制值，结果取决于它的输出更靠近 0 还是 1
。四个神经元⾜够编码这个问题了，因为 24 = 16 ⼤于 10 种可能的输⼊。为什么我们反⽽要⽤ 10 个神经元呢？

经验主义的回答是：我们可以实验两种不同的⽹络设计，结果证明对于这个特定的问题⽽⾔， 10 个输出神经元的神经⽹络⽐ 4 个的识别效果更好。

而我们想探究的是：有没有启发性的的⽅法能提前告诉我们⽤ 10 个输出编码⽐使⽤ 4
个输出编码更有好呢？（这有助于我们理解神经网络是在做什么）

⾸先考虑第⼀个输出神经元，它告诉我们⼀个数字是不是
0。它能那么做是因为可以权衡从隐藏层来的信息。隐藏层的神经元在做什么呢？假设隐藏层的第⼀个神经元只是⽤于检测如下的图像是否存在：

隐藏层
我们来总结一下：对于二分类问题，输出层只需要一个神经元；对于多分类问题，输出层是一个向量——这足够简单直观。相比之下。隐藏层的设计则堪称⼀⻔艺术。特别是，通过⼀些简单的经验法则来总结隐藏层的设计流程是不可⾏的。相反，神经⽹络的研究⼈员已经为隐藏层开发了许多设计最优法则，这有助于⽹络的⾏为能符合⼈们期望的那样。

1.3 迈向深度学习

我们考虑这样一个问题：识别图片中有没有人脸。我们如何做呢？
我们受到启发的⼀个想法是将这个问题分解成⼦问题：图像的左上⻆有⼀个眼睛吗？右上⻆有⼀个眼睛吗？中间有⼀个⿐⼦吗？下⾯中央有⼀个嘴吗？上⾯有头发吗？诸如此类。如果⼀些问题的回答是“是”，或者甚⾄仅仅是“可能是”，那么我们可以作出结论这个图像可能是⼀张脸。相反地，如果⼤多数这些问题的答案是“不是”，那么这张图像可能不是⼀张脸。
当然，这仅仅是⼀个粗略的想法，⽽且它存在许多缺陷。也许有个⼈是秃头，没有头发。也许我们仅仅能看到脸的部分，或者这张脸是有⻆度的，因此⼀些⾯部特征是模糊的。不过这个想法表明了如果我们能够使⽤神经⽹络来解决这些⼦问题，那么我们也许可以通过将这些解决⼦问题的⽹络结合起来，构成⼀个⼈脸检测的神经⽹络。
这里写图片描述
子网络也可以继续分解：

这些⼦问题也同样可以继续被分解，并通过多个⽹络层传递得越来越远。最终，我们的⼦⽹络可以回答那些只包含若⼲个像素点的简单问题。举例来说，这些简单的问题可能是询问图像的⼏个像素是否构成⾮常简单的形状。这些问题就可以被那些与图像中原始像素点相连的单个神经元所回答。

最终的结果是，我们设计出了⼀个⽹络，它将⼀个⾮常复杂的问题——这张图像是否有⼀张⼈脸——分解成在单像素层⾯上就可回答的⾮常简单的问题。它通过⼀系列多层结构来完成，在前⾯的⽹络层，它回答关于输⼊图像⾮常简单明确的问题，在后⾯的⽹络层，它建⽴了⼀个更加复杂和抽象的层级结构。包含这种多层结构——两层或更多隐藏层——的⽹络被称为深度神经⽹络。

还是跟之前所说的一样，这仅仅是一个启发性的想法。我们并不能知道神经网络具体做了什么，怎么做的。