1、机器学习中的不确定性：概念与应用

机器学习中的不确定性：概念与应用

在机器学习领域，不确定性是一个普遍存在的现象，它贯穿于数据预处理、算法设计和模型选择等各个学习阶段。对不确定性的有效表示、测量和处理，对学习系统的性能有着显著影响。常见的不确定性主要有随机、模糊、粗糙和非特异性这四种类型。下面将详细介绍前三种不确定性，并简要提及非特异性，同时探讨它们之间的关系。

1. 随机不确定性

随机不确定性是与随机变量相关的一种客观不确定性，而熵则是衡量随机变量不确定性的一个重要指标。

1.1 熵

设 $X$ 是一个离散随机变量，它从集合 $X$ 中随机取值，其概率质量函数为 $p(x) = Pr(X = x)$，$x \in X$，记为 $X \sim p(x)$。$X$ 的熵定义如下：
定义 1.1：$X$ 的熵定义为
$H(X) = - \sum_{x \in X} p(x) \log_2 p(x)$。
从这个定义可以看出，$X$ 的熵实际上是概率 $p$ 的函数。下面通过具体例子来说明：
- 例 1.1 ：设 $X = {0, 1}$，且 $Pr(X = 1) = p$，$Pr(X = 0) = 1 - p$。根据上述熵的定义，$X$ 的熵为
$H(X) = -p \times \log_2 p - (1 - p) \times \log_2(1 - p)$。
显然，$H(X)$ 是 $p$ 的函数，为方便表示，记为 $H(p)$。其函数图像显示，$H(p)$ 在 $p = \frac{1}{2}$ 时取得最大值。
- 例 1.2 ：表 1.1 是一