8、人工神经网络全解析：从激活函数到图像应用

人工神经网络全解析：从激活函数到图像应用

1. 激活函数概述

在神经网络中，激活函数扮演着至关重要的角色。我们主要关注的是那些非线性且连续可微的激活函数。非线性激活函数使得神经网络能够学习任何非线性函数，前提是网络有足够的神经元和层。因为全是线性激活的前馈网络本质上只是一个线性函数，所以至少要有一个具有非线性激活函数的神经元，才能让神经网络具备非线性能力。

可微性也非常重要，因为我们主要使用梯度下降法来训练神经网络。虽然像遗传算法和粒子群优化等非基于梯度的优化方法可用于优化简单函数，但基于梯度的方法是训练神经网络最常用的方法。不过，使用非基于梯度的方法训练神经网络也是一个活跃的研究领域。

此外，理想的激活函数应在原点附近近似于恒等映射。神经元的激活形式上由 $G (wx^T + b)$ 给出，其中 $G$ 是激活函数。通常，权重向量 $w$ 和偏置 $b$ 会通过梯度下降法初始化为接近零的值，所以 $wx^T + b$ 会接近零。如果 $G$ 在零附近近似于恒等函数，其梯度将近似等于输入，这在梯度下降中是一个强梯度，有助于训练算法更快收敛。

2. 常见激活函数介绍

2.1 Sigmoid 函数

Sigmoid 激活函数及其导数的公式如下：
$G_{sigmoid}(x) = \frac{1}{1 + e^{-x}}$
$G_{sigmoid}’(x) = G (x)(1 - G (x))$

Sigmoid 激活函数 $G_{sigmoid}(x) : R \to [0, 1]$ 是平滑且处处可微的，它是一种受生物启发的激活函数，过去在前馈神经网络中非常流行。然而，它存在两个问题。一是在零附