Chapter 5 假设评估

第5章 评估假设

对假设的精度进行经验评估是机器学习中的基本问题。

5.1 估计假设精度

5.1.1 样本错误率和真实错误率

1. 样本错误率（Sample Error）:假设$h$关于目标函数$f$和数据样本$S$的样本错误率（标记为$error_S (h)$为
   

   $$error_S (h) \equiv \frac{1}{n} \sum_{x \in S}{\mathop{\rm \delta}}\big(f(x),h(x)\big)$$

   其中，$n$为$S$中样例的数量，而${\mathop{\delta}}\big(f(x),h(x)\big)$在$f(x) \ne h(x)$时为1，否则为0。

2. 真实错误率（True Error）:假设$h$关于目标函数$f$和分布$D$的真实错误率（标记为$error_D (h)$为$h$按$D$分布随机抽取实例被误分类的概率：
   

   $$error_D (h) \equiv {\mathop{\rm Pr}}_{x \in D} \big[ f(x) \ne h(x) \big]$$

5.1.2 离散值假设的置信区间

若要基于某个离散值假设 $h$ 在样本 $S$ 上观察到的样本错误率估计它的真实错误率，其中：

• 样本$S$包含$n$个样例，它们的抽取按照概率分布$\mathcal{D}$，抽取过程是相互独立的，且不依赖于$h$；
• $n \ge 30$
• 假设$h$在这$n$个样例上犯了$r$个错误（$error_S (h) = \frac{r}{n}$）；
  则，可断言：
  
  1. 没有其他信息的话，$error_\mathcal{D} (h)$ 最可能的值为 $error_S (h)$ ；
  2. 有大约95%的可能性，真实错误率 $error_\mathcal{D} (h)$ 处于下面的区间内:
     $$error_S (h) \pm 1.96 \sqrt{\frac{error_S (h) \big( 1 - error_S (h) \big)}{n}}$$

常数1.96是由95%这一置信度确定的（见《标准正态分布双侧上分位点表》）。

定义 $z_n$ 为计算 $N\%$ 置信区间是的常数。计算 $error_\mathcal{D} (h)$ 的 $N\%$ 置信区间的一般表达式为：

$$error_S (h) \pm z_n \sqrt{\frac{error_S (h) \big( 1 - error_S (h) \big)}{n}}$$

5.2 统计理论基础

5.2.1 二项分布

离散值假设 $h$ 在 $n$ 个样例上犯了 $r$ 个错误的概率服从二项分布:

$${\mathop{\rm Pr}}(X=r)=P(r)= \frac{n!}{r!(n−r)!} p^r (1−p)^{n−r}$$
期望：$E[X]=np$
标准差:$\sigma_X=\sqrt{np(1−p)}$
对于足够大的 $n$，二项分布很接近有同样均值和方差的正态分布。建议只在 $np(1−p) \ge 5$ 时使用正态分布来近似二项分布。

5.2.2 估计偏差（Estimator Bias）

针对任意参数 $p$ 的估计量 $Y$ 的估计偏差定义为：$E[Y]−p$。
若估计偏差为0，称 $Y$ 为 $p$ 的无偏估计量（Unbiased Estimator）。

5.2.3 置信区间（Confidence Interval）

参数 $p$ 的 $N\%$ 置信区间是的一个以 $N\%$ 的概率包含 $p$ 的区间。
如果随机变量 $Y$ 服从均值为 $μ$ ，标准差为 $\sigma$ 的正态分布，那么 $Y$ 的任一观察值 $y$ 有 $N\%$ 的几率会落入区间: $\mu \pm z_N \sigma$ ,相似地，均值 $\mu$ 有 $N\%$ 的几率会落入区间: $y \pm z_N \sigma$ 。

5.2.4 双侧与单侧边界

由一个有下界 $L$ 和上界 $U$ 的 $100(1−\alpha)\%$ 置信区间，可得到一个下界为 $L$ 且无上界的 $100(1−\alpha∕2)\%$ 置信区间，同时也可得出一个有上界 $U$ 且无下界的 $100(1−\alpha∕2)\%$ 置信区间。

5.3 推导置信区间的一般方法

一般包含一下步骤：
1. 确定基准总体中要估计的参数
2. 定义一个估计量，应选择最小方差的无偏估计量
3. 确定控制估计量的概率分布，包括其均值和方差
4. 通过寻找阈值（上界、下界）确定置信区间

5.4 学习算法比较

假定有 $L_A$ 和 $L_B$ 两个算法，要确定为了学习一特定的目标函数 $f$ ，平均哪个算法更好。即从一基准实例分布$\mathcal{D}$中抽取包含 $n$ 个样例的训练集合，在所有这样的集合中测量两个算法的平均性能：

$${\mathop{\rm E}}_{S \subset \mathcal{D}}\big[error_\mathcal{D} \big( L_A(S) \big) - error_\mathcal{D} \big( L_B(S) \big) \big]$$
其中，$L(S)$表示在给定训练数据的样本$S$时，学习算法$L$输出的假设。
实际的学习算法比较中，只有一个有限的样本$D_0$ 。用下述方法来估计两个算法的错误率差异：
1. 将可用数据 $D_0$ 分隔成 $k$ 个相同大小的不相交子集 $T_1，T_2，\dots，T_k$ 。其大小至少为30；
2. 令 $i$ 从1到 $k$ 循环，做如下操作：
$\qquad S_i \gets \{D_0-T_i\}$
$\qquad h_A \gets L_A(S_i),\quad h_B \gets L_B(S_i)$
$\qquad \delta_i \gets error_{T_i}(h_A)-error_{T_i}(h_B)$
3. 计算

$$\qquad \bar{\delta} = \frac{1}{k} \sum_{i=1}^{k}\delta_i$$

$\bar{\delta}$ 可以看作是对 ${\mathop{\rm E}}_{S \subset D_0}\big[error_D \big( L_A(S) \big) - error_D \big( L_B(S) \big) \big]$ 的估计，其近似的 $N\%$ 置信区间可表示为：

$$\bar{\delta} \pm t_{N,k-1}s_{\bar{\delta}}$$

其中，$s_{\bar{\delta}}$ 代表对 $\bar{\delta}$ 所服从的概率分布的标准差的估计，

$$s_{\bar{\delta}}=\sqrt{\frac{1}{k(k-1)} \sum_{i=1}^{k}(\delta_i-\bar{\delta})^2}$$

---