31、神经网络激活函数与Softmax技术详解

神经网络激活函数与Softmax技术详解

在神经网络中，激活函数起着至关重要的作用，它能够引入非线性因素，防止网络崩溃，从而提升网络的学习能力和表达能力。同时，Softmax技术则常用于分类网络的输出层，将输出转化为类别的概率，便于进行分类决策。下面将详细介绍常见的激活函数和Softmax技术。

1. 激活函数概述

激活函数（有时也称为传递函数或非线性函数）以浮点数作为输入，并返回一个新的浮点数作为输出。我们可以通过绘制小图形来定义这些函数，其中水平的X轴表示输入值，垂直的Y轴表示输出值。要找到任何输入的输出，我们在X轴上找到输入值，然后直接向上移动，直到与曲线相交，该交点的Y轴值就是输出值。

在理论上，我们可以为网络中的每个神经元应用不同的激活函数，但在实践中，通常为每一层的所有神经元分配相同的激活函数。

2. 直线函数

直线函数由一条或多条直线组成。其中，最左边的例子是恒等函数，即对于X轴上的任何点，垂直向上与直线相交的Y轴值与X轴值相同，输出值始终等于输入值。其他曲线也是直线，但斜率不同，任何单一的直线曲线都称为线性函数。

这些直线激活函数通常出现在以下两种特定情况：
- 网络的输出神经元 ：由于输出之后没有神经元，因此不存在网络崩溃的风险。
- 在神经元的求和步骤和激活函数之间插入处理步骤 ：先对神经元应用恒等函数，执行处理步骤，然后再执行非线性激活函数。

由于我们通常需要非线性激活函数，因此需要避免使用单一的直线函数。以下介绍的激活函数都是非线性的，可以防止网络崩溃。

3