Day3 用恶魔来讲解神经网络

Day3 用恶魔来讲解神经网络

Day2中概述了神经网络的各层（输入层、隐藏层、输出层），但没有具体介绍其中最难的隐藏层。这是因为隐藏层肩负着特征提取 feature extraction 的重要职责，需要很长的篇幅来介绍。Day3中以“恶魔组织”为例，从隐藏层切入，解释整个神经网络的“工作”机制。

用恶魔来讲解神经网络的结构

恶魔之间的“交情”

如Day2所述，神经网络是将神经单元部署成网络状而形成的。然而，将神经单元胡乱地连接起来并不能得到有用的神经网络，因此需要设计者的预估，这种预估对于隐藏层是特别重要的。因为支撑整个神经网络工作的就是这个隐藏层。下面让我们利用上一节用过的例题切入隐藏层的话题。

例题：建立一个神经网络，用来识别通过4×3像素的图像读取的手写数字0和1。学习数据是64张图像，其中像素是单色二值。

• 难点：即使是区区一个4×3 像素的二值图像，所读入的手写数字0 和1 的像素模式也是多种多样的。例如，下列图像可以认为是读入了手写数字0。

• 思路：由神经单元之间的关系强度给出答案

  • 假设有一个如下图所示的恶魔组织，隐藏层住着3 个隐藏恶魔A、B、C，输出层住着2 个输出恶魔0 和1。输入层有12 个手下为隐藏恶魔A、B、C 服务。

  注：这里将生物学中的特征提取细胞的工作抽象化为3 个恶魔A、B、C。

  

  • 最下层（输入层）的12 个手下分别住在4×3 像素图像的各个像素上，其工作是如果像素信号为OFF（值为0）就处于休眠状态；如果像素信号为ON（值为1）则变得兴奋，并将兴奋度信息传递给他们的主人隐藏恶魔A、B、C。

  • 隐藏恶魔A、B、C 有不同的“喜好”，根据神经网络设计者的预设，他们分别喜欢下图所示的模式A、模式B、模式C 的图案。

    

  • 住在最上层的2个输出恶魔也是从住在下层的3 个隐藏恶魔那里得到兴奋度信息。与隐藏恶魔一样，他们将得到的兴奋度信息进行整合，根据其值的大小，自己也变兴奋。然后，这些输出恶魔的兴奋度就成为整个恶魔组织的意向。如果输出恶魔0 的兴奋度比输出恶魔1的兴奋度大，神经网络就判定图像的数字为0，反之则判定为1。

  

• 可见，恶魔的世界里也存在着人际关系，不，“魔际关系”。

  • 隐藏恶魔A、B、C 对模式有着各自的偏好，与12 个手下有不同的交情。隐藏恶魔A的偏好是之前的模式A，因此与④、⑦性情相投。因为模式A的4号像素与7号像素是ON，所以理所当然地与对应的看守人④、⑦性情相投。

  

  • 同样地，手下⑤、⑧与隐藏恶魔B，手下⑥、⑨与隐藏恶魔C 性情相投，因此他们之间传递兴奋度的管道也变粗了（下图）。