17、前馈全连接神经网络与人工神经元模型解析

前馈全连接神经网络与人工神经元模型解析

1. 前馈全连接神经网络概述

前馈全连接神经网络（FCNNs）是一种重要的神经网络类型。在这类网络中，输入模式向网络输出的传播是沿着前馈方向进行的。这与循环神经网络（RNNs）形成对比，RNNs 可以有内部循环，不过 RNNs 不在本次讨论范围内。

“全连接”这个术语意味着网络中某一层的每个节点的输出都会输入到下一层的每个节点。这种连接方式使得信息能够在网络中充分传递和交互，为后续的计算和处理提供了丰富的数据基础。

1.1 全连接特性优势

• 信息充分融合 ：每个节点的输出都参与到下一层所有节点的输入中，能够让不同特征之间充分融合，有助于网络学习到更复杂的模式和特征。
• 强大的表达能力 ：这种连接方式赋予了网络强大的表达能力，可以处理各种复杂的任务，如分类、回归等。

2. 人工神经元模型

FCNNs 由类似感知机的计算元素——人工神经元相互连接而成。这些人工神经元和感知机进行相同类型的计算，但在处理乘积和计算结果（在公式 (14 - 23) 中用 z 表示）的方式上有所不同。

2.1 感知机的局限性

感知机使用“硬”阈值函数进行分类，例如输出 +1 和 -1 两个值。硬阈值函数存在一个问题，即对于阈值器输入的极小变化，其输出在极限值之间可能会有大幅波动。由于 FCNNs 是由计算单元分层组成的，一个单元的输出会影响后续所有单元的行为。感知机对小信号符号的敏感性会在互联系统中导致严重的稳定性问题，因此感知机不适合