27、人工神经网络：从理论到实践

人工神经网络：从理论到实践

1. 激活函数的选择

生物神经元似乎实现了大致的S形激活函数，因此研究人员长期以来一直使用S形函数。但事实证明，修正线性单元（ReLU）在人工神经网络（ANNs）中通常效果更好，这是生物类比产生误导的一个例子。

1.1 ReLU函数

ReLU函数的表达式为：$ReLU(z) = max(0, z)$。它是连续的，但在$z = 0$处不可微（斜率突然变化，可能导致梯度下降出现波动），并且当$z < 0$时，其导数为0。不过在实践中，它效果很好，计算速度快，已成为默认选择。最重要的是，它没有最大输出值，有助于减少梯度下降过程中的一些问题。

1.2 激活函数的必要性

如果将多个线性变换串联起来，最终得到的仍然是一个线性变换。例如，若$f(x) = 2x + 3$，$g(x) = 5x – 1$，则$f(g(x)) = 2(5x – 1) + 3 = 10x + 1$。因此，如果层与层之间没有非线性，那么即使有很深的层堆叠，也相当于只有一个层，无法解决非常复杂的问题。相反，具有非线性激活函数的足够大的深度神经网络（DNN）理论上可以近似任何连续函数。

2. 多层感知机（MLP）的应用

2.1 回归任务

MLP可用于回归任务。如果要预测单个值（如给定房屋的多个特征来预测房价），只需一个输出神经元，其输出即为预测值。对于多元回归（即同时预测多个值），每个输出维度需要一个输出神经元。例如，要定位图像中物体的中心，需要预测二维坐标，因此需要两个输出神经元；若还要为物体添加边界框，则还需要两个数字（物体的宽度和高度），最终需要四个输出神经元。