11、深度学习基础：神经网络、损失函数与梯度下降

深度学习基础：神经网络、损失函数与梯度下降

1. 分类任务中的激活函数选择

在分类任务中，激活函数的选择至关重要。当需要预测一个特定类别时，Softmax()函数在实际应用中被广泛使用。而如果希望每个类别都有自己的概率分布，即一个输入可以属于多个类别，那么在输出层使用Sigmoid函数，这就是多标签分类任务。在多标签分类中，概率超过某个阈值的类别将被视为预测结果。

2. 神经网络架构

2.1 神经网络的层结构

神经网络由一系列神经元层组成。每一层都是一组神经元的集合，每个神经元使用整个输入计算一个输出值。一层的输出由该层内所有神经元计算的输出值组成。神经网络中，一层的输出作为下一层的输入。

神经网络的第一层是输入层，它接收训练数据作为输入；最后一层是输出层，输出的值用于网络被训练执行的任何任务的预测；中间的所有层称为隐藏层。

2.2 数学表示与数据流动

从数学角度看，整个网络是一系列链式矩阵乘法运算，并应用激活函数。用 $z^L$ 表示第 $L$ 层的仿射变换输出，$a^L$ 表示以 $z^L$ 为输入的激活函数输出。$a^L$ 成为第 $L + 1$ 层的输入，依次得到 $z^{L + 1}$ 和 $a^{L + 1}$。

数据从最左边的层流向最右边的层称为前向传播，即根据给定输入计算最终输出的过程。反向传播则是从最右边的层逐层向左移动，使用反向传播算法计算梯度。反向传播（“误差的反向传播”的简称）通过链式法则计算每层可学习参数的梯度，避免重新计算所有中间项。

2.3 神经元的激活与连接

假设激活函数为Sigmoid函数，最