深度学习学习笔记1.2

10-11

知识点

1.神经网络的前向传播与反向传播

神经网络的前向传播和反向传播是深度学习中非常重要的概念。

在前向传播过程中，输入数据通过网络的各个层逐步传递，最终得到输出结果。具体步骤如下：

1. 初始化网络的权重和偏置参数。
2. 将输入数据传递给第一个隐藏层，并进行加权求和操作，然后通过激活函数进行非线性变换。
3. 将结果传递给下一个隐藏层，重复步骤2，直到传递到输出层。
4. 输出层将最终的结果计算出来。

在反向传播过程中，网络根据输出结果的误差来调整权重和偏置参数，以使得网络的输出结果更接近期望的结果。具体步骤如下：

1. 计算输出层的误差，通常使用损失函数来衡量误差大小。
2. 将输出层的误差逐层反向传播到隐藏层，通过链式法则计算各层的误差贡献。
3. 根据误差贡献和激活函数的导数，更新网络的权重和偏置参数，以最小化损失函数。

通过不断迭代前向传播和反向传播过程，神经网络能够逐渐优化自己的参数，提高对输入数据的预测能力。这也是深度学习中常用的训练方法之一。

视频讲解：【超详细讲解】看完秒懂什么是神经网络！_哔哩哔哩_bilibili

2.logistic

逻辑回归（Logistic Regression）是一种广泛应用于分类问题的机器学习算法。它的输出是一个介于0和1之间的概率值，用于表示输入样本属于某个类别的概率。

在逻辑回归中，我们首先根据输入数据的特征权重和偏置参数计算加权和，并将其输入到逻辑函数（也称为sigmoid函数）中进行变换。逻辑函数的定义为：

f(z) = 1 / (1 + exp(-z))

其中，z 是输入加权和。逻辑函数将 z 映射到一个介于 0 和 1 之间的值，表示样本属于正类的概率。

训练逻辑回归模型的目标是通过最小化损失函数来估计最佳的权重和偏置参数。常用的损失函数是交叉熵损失函数（cross-entropy loss），它用于衡量实际输出和期望输出之间的差异。

在训练过程中，通常使用梯度下降等优化算法来更新权重和偏置参数，以减小损失函数的值。这样，模型会逐渐调整自己的参数，以逼近训练数据的真实类别标签。

逻辑回归广泛用于二分类问题，也可以扩展到多分类问题（多类别的逻辑回归称为softmax回归）。它具有简单而高效的特点，并且容易解释模型的结果。逻辑回归在实践中被广泛应用于预测、风险评估、市场营销等许多领域。

优点：1.计算概率 2.能减少极端值的影响

缺点：1.只适合线性分布

3.损失函数

在深度学习领域中，损失函数定义了模型的预测与目标值之间的距离。损失函数（Loss Function）是机器学习和统计学中用于衡量模型预测结果与真实标签之间差异的函数。损失函数的值越小，说明模型的预测结果越接近真实标签。

最小化损失函数是机器学习和优化问题中的一个常见目标。它指的是通过调整模型的参数来使损失函数的值尽可能地减小。

在机器学习中，损失函数用于衡量模型预测结果与真实标签之间的差异。常见的损失函数包括平方损失（用于回归问题）、交叉熵损失（用于分类问题）和对数损失（用于逻辑回归问题）。不同的问题和模型可能会选择不同的损失函数。