由非饱和激活函数的神经元(non-saturating neuron)--＞前馈神经网络

一、非饱和激活函数

“Non-saturating neuron” 即非饱和激活函数的神经元。

在神经网络中，激活函数用于引入非线性，使网络能够学习复杂的模式。

非饱和激活函数的特点是其输出不会被限制在一个很小的范围内，与饱和激活函数（如 Sigmoid 和 Tanh）不同。

例如，ReLU（Rectified Linear Unit）是一种常见的非饱和激活函数，其公式为$f(x)=max(0,x)$

饱和和非饱和激活函数对比

ReLU 在正区间内不会饱和，即其输出可以无限增大，这使得它在反向传播时不会出现梯度消失问题，从而有助于神经网络的训练。

相比之下，Sigmoid 和 Tanh 等饱和激活函数会在输入较大或较小时将输出限制在固定范围内（如 Sigmoid 的输出范围是 0 到 1），这可能导致梯度消失，使得训练变得困难。

作用

非饱和神经元（如使用 ReLU 的神经元）在隐藏层中被广泛使用，以提高训练效率和模型性能。

二、前馈神经网络

• 问题：如何找到满足特定要求的函数映射$f(x)$？

eg:在猫狗分类中，$f(猫)=0,f(狗)=1$

• 方法：前馈神经网络

通用近似定理：对于具有线性输出层和至少一个使用“挤压”性质的激活函数（例如logistic sigmoid激活函数）的隐藏层组成的前馈神经网络，只要其隐藏层神经元的数量足够，它可以以任意的精度来近似任何一个定义在实数空间中的有界闭集函数。