8、深度学习中的概率分类、过拟合与数据集处理

深度学习中的概率分类、过拟合与数据集处理

1. 基于概率的分类与Softmax函数

在分类任务中，我们常常需要确定输入观测属于各个类别的概率。这里的 $S(z)_i$ 就表现得像一个概率，因为它对所有 $i$ 的求和为 1，且其元素都小于 1。我们可以将 $S(z)_i$ 看作是 $k$ 种可能结果的概率分布，简单来说，$S(z)_i$ 就是输入观测属于第 $i$ 类的概率。

例如，当我们尝试将一个观测分为三类时，可能得到如下输出：$S(z)_1 = 0.1$，$S(z)_2 = 0.6$，$S(z)_3 = 0.3$。这意味着该观测属于第 1 类的概率为 10%，属于第 2 类的概率为 60%，属于第 3 类的概率为 30%。通常，我们会将输入观测分类到概率最高的类别，在这个例子中就是第 2 类。

要使用Softmax函数进行分类，我们需要使用特定的输出层。具体步骤如下：
1. 使用十个神经元，每个神经元输出 $z_i$。
2. 再使用一个神经元输出 $S(z)$，该神经元以Softmax函数作为激活函数，并以最后一层十个神经元的输出 $z_i$ 作为输入。
在TensorFlow中，可以使用 tf.nn.softmax 函数应用于最后一层的十个神经元。需要注意的是，这个TensorFlow函数会逐个元素地进行操作。

2. 过拟合问题概述

在训练深度神经网络时，过拟合是一个常见的问题。由于网络的灵活性，它可能会学习到由噪声、误差或错误数据导致的模式。为了直观理解过拟合，我们以一个简单的二维数据集为例进行说明。

3. 过拟合的实际示例