17、深度学习基础：从神经网络训练到TensorFlow 2.0与Keras应用

深度学习基础：从神经网络训练到TensorFlow 2.0与Keras应用

1. 成本函数与独热编码

1.1 成本函数

成本函数，也称为损失函数，用于衡量模型预测值与实际值之间的差异。常见的成本函数有两种：
- 均方误差成本函数（MSE） ：适用于实值问题，计算估计目标与实际目标之间平方差的总和。
- 交叉熵成本函数 ：用于分类问题，计算预测类别与实际类别标签概率估计之间的差异。

当误差损失较小时，我们称成本达到最小化。例如，在一个示例中，输入网络的正确输出为 2.3，前馈训练得到输出值后，使用均方误差成本函数评估网络输出的质量。需要注意的是，MSE 计算的是训练数据集中所有数据样本的平均成本，示例中仅使用一个数据样本进行演示。

1.2 独热编码

在分类问题中，独热编码是将目标变量的类别标签转换为二进制变量矩阵的过程。独热编码器在输出属于特定类别时赋值为 1，否则为 0。在神经网络的最后一层（输出层之前），通常会应用 softmax 激活函数，将激活值转换为示例属于某个输出类别的概率。对数据集标签应用独热编码的目的是将输出表示为不同类别的向量，显示训练数据集中示例属于任何一个输出类别的概率。

2. 反向传播算法

反向传播是训练神经网络以提高预测准确性的过程。为了训练神经网络，需要找到一种调整网络权重的机制，这会影响每个神经元内的激活值，进而更新预测输出层的值。首次运行前馈算法时，输出层的激活值很可能是错误的，误差估计或成本函数较高。

反向传播的目标是反复回溯并调整每个前一层神