11、深度学习基础：从神经网络到梯度下降

深度学习基础：从神经网络到梯度下降

1. 激活函数与分类任务

在分类任务中，激活函数起着关键作用。 Softmax() 函数在预测特定类别的分类任务中应用广泛，它能将输入转化为各类别的概率分布，且所有类别概率之和为 1，从而确定输入所属的单一类别。而当我们希望每个类别都有独立的概率分布，即一个输入可以属于多个类别时，就需要在输出层使用 sigmoid 函数，这被称为多标签分类。在多标签分类中，当某个类别的概率超过设定的阈值时，该类别就会被视为预测结果。

2. 神经网络架构

2.1 网络层结构

神经网络由一系列神经元层组成，每层包含多个神经元，每个神经元利用整个输入计算输出值。网络的第一层是输入层，负责接收训练数据；最后一层是输出层，输出用于预测的结果；中间的层则被称为隐藏层。在数学上，整个网络可以看作是一系列链式矩阵乘法运算，并应用激活函数进行处理。

2.2 前向传播与反向传播

• 前向传播 ：数据从最左侧的输入层流向最右侧的输出层的过程，通过该过程根据给定输入计算出最终输出。
• 反向传播 ：从最右侧的输出层逐层向左移动，使用反向传播算法计算梯度。反向传播即“误差的反向传播”，它利用链式法则计算每层可学习参数的梯度，避免重复计算所有中间项。需要注意的是，反向传播是计算梯度的过程，而反向传播过程严格指的是逐层反向遍历网络的过程。

2.3 权重与连接

神经元与前一层的每个神经元都完全连接，且