4、神经网络架构、前向传播与激活函数详解

神经网络架构、前向传播与激活函数详解

1. 神经网络架构类型

1.1 前馈神经网络（FFNNs）

前馈神经网络是最常用的神经网络类型。它由输入层、输出层和中间的隐藏层组成。网络会在输入和输出之间进行一系列的变换，每一层都会对输入进行新的表示，这通过对下一层的活动进行非线性变换来实现。

FFNNs 是多层分类器，层与层之间由非线性函数（如 Sigmoid、Tanh、ReLU、SeLU、Softmax）分隔，也被称为多层感知机。它可用于分类任务，还能作为自编码器进行无监督特征学习。

1.2 卷积神经网络（ConvNets）

如今，几乎所有基于视觉的先进深度学习成果都借助卷积神经网络实现。ConvNets 由卷积层构成，这些卷积层作为分层特征提取器。它主要用于图像分类、文本分类、目标检测和图像分割等任务。

1.3 循环神经网络（RNNs）

RNNs 是一种更有趣的架构，信息可以循环流动。它通过在时间 t 对聚合器状态和输入递归应用相同的权重集来对序列进行建模。RNNs 是深度网络，每个时间片都有一个隐藏层，每个时间片使用相同的权重并接收输入。

RNNs 能够长时间存储过去的信息，但训练难度较大。不过，在训练循环神经网络方面已经取得了很大进展，它现在可以完成一些相当出色的任务。RNN 的对应网络有长短期记忆网络（LSTMs）和门控循环单元（GRUs），LSTMs 能够学习长期依赖关系，GRUs 旨在解决梯度消失问题，它们在大多数序列建模任务中都是先进的网络。RNNs 可用于任何序列建模任务，特别是文本分类、机器翻译、语言建模等。

下面是一个简单 RNN 架构