数据学习(8)·假设检验

作者课堂笔记 humminwang@163.com

假设检验（Hypothesis Testing）

Y = { 0 , 1 } Y=\{0,1\} Y={0,1},数据$X$是独立同分布从$P(X|Y=0)$或$P(X|Y=1)$产生。
$$X=(x_1,x_2,....,x_n)\in X^n$$

问题: 给定观测数据$X=(x_1,...x_n)$,预测$Y$，同时才能使。

$$H_0:X\sim iid{P}_X=P(X|Y=0)\to P_0$$
$$H_1:X\sim iid{Q}_X=P(X|Y=1)\to P_1$$
$$P(H_0|x_1,...x_n)=\frac{P(x_1,...,x_n|H_0)P_0}{P(x_1,...,x_n)}=\frac{P_X(x_1)P_X(x_2)...P_X(x_n)P_0}{P(x_1,...,x_n)}$$
$$P(H_1|x_1,...x_n)=\frac{P(x_1,...,x_n|H_0)P_0}{P(x_1,...,x_n)}=\frac{Q_X(x_1)Q_X(x_2)...Q_X(x_n)P_1}{P(x_1,...,x_n)}$$
化简后：
$$log\frac{P_X(x_1)}{Q_X(x_1)}\frac{P_X(x_2)}{Q_X(x_2)}....\frac{P_X(x_n)}{Q_X(x_n)}(1)$$
$$log\frac{P_1}{P_0}(2)$$
当$(1)>(2)$,$H_0$成立，反之$H_1$成立。

---

最优决策下的错误概率（Error Probability Of Optimal Decision）

• 第一类错误 $H_0$是对的，但是采用了$H_1$。
• 第二类错误 $H_1$是对的，但是采取了$H_0$。

$$P(Q(x)|(x_1,...x_n)\sim P_X)=\sum _{x\sim Q(x)}{P}_X(x_1)P_X(x_2)...P_X(x_n)$$
化简
x ∼ { 1 , . . . , k } , Q X ( i ) = q i x\sim \{1,...,k\},Q_X(i)=q_i x∼{1,...,k},QX​(i)=qi​
$n{q}_1$意味着类别为1的数据个数。
上式则可以化简为：
$$=\sum P_X^{n{q}_1}(1)P_X^{n{q}_2}(2)....P_X^{n{q}_k}(k)$$
$$=\prod _{i=1}^k{P}_X(i)=e^{{\sum }_{i=1}^{k}n{q}_{i}log{P}_X(i)}$$
利用K-L散度来衡量Q和P分布之间的差异。

K-L散度又叫相对熵，K-L散度能帮助我们度量使用一个分布来近似另一个分布时所损失的信息。
更好理解参考博文https://www.jianshu.com/p/43318a3dc715?from=timeline&isappinstalled=0

有多少$X$具有$Q_X$分布？$X=(x_1,x_2,...,x_n)$
$$C_n^{n{q}_1}{C}_{n-n{q}_1}^{n{q}_2}....C_{n-n{q}_1-n{q}_2....n{q}_{k-1}}^{n{q}_k}$$
$$=\frac{n!}{(n{q}_1)!...(n{q}_k)!}$$
$n!=\sqrt{2\pi n}(\frac{n}{e}{)}^n$,化简：
$$=e^{-{\sum }_{i=1}^k{q}_{i}log{q}_i}=e^{nH(Q_X)}$$
所以：
$$P(X\sim Q_X|Xiid{P}_X)=e^{-{\sum }_{i=1}^k{q}_{i}log{q}_i+{\sum }_{i=1}^k{q}_{i}log{P}_X(i)}$$
$$=e^{(-nD(Q_X||P_X))}$$