贝叶斯定理与概率推导详解

1、设x和y为相关随机变量，其中x是取值于集合AX = {0, 1}的二元变量。使用贝叶斯定理证明，给定y时x的对数后验概率比为log (P(x = 1 | y) / P(x = 0 | y)) = log (P(y | x = 1) / P(y | x = 0)) + log (P(x = 1) / P(x = 0))。

根据贝叶斯定理，

$$
P(x | y) = \frac{P(y | x)P(x)}{P(y)}
$$

则有：

$$
P(x = 1 | y) = \frac{P(y | x = 1)P(x = 1)}{P(y)}
$$

$$
P(x = 0 | y) = \frac{P(y | x = 0)P(x = 0)}{P(y)}
$$

所以：

$$
\frac{P(x = 1 | y)}{P(x = 0 | y)} = \frac{\frac{P(y | x = 1)P(x = 1)}{P(y)}}{\frac{P(y | x = 0)P(x = 0)}{P(y)}} = \left( \frac{P(y | x = 1)}{P(y | x = 0)} \right) \cdot \left( \frac{P(x = 1)}{P(x = 0)} \right)
$$

两边取对数可得：

$$
\log \left( \frac{P(x = 1 | y)}{P(x = 0 | y)} \right) = \log \left( \frac{P(y | x = 1)}{P(y | x = 0)} \right) + \log \left( \frac{P(x = 1)}{P(x = 0)} \right)
$$

2、设 x、d1 和 d2 为随机变量，使得在二元变量 x 给定的条件下，d1 和 d2 条件独立。使用贝叶斯定理证明，给定 {di} 时 x 的后验概率比为 (P(x = 1 | {di}) / P(x = 0 | {di})) = (P(d1 | x =1) / P(d1 | x =0)) * (P(d2 | x = 1) / P(d2 | x = 0)) * (P(x = 1) / P(x = 0))。

根据贝叶斯定理，

$$
P(x | {d_i}) = \frac{P({d_i} | x)P(x)}{P({d_i})}
$$

则

$$
\frac{P(x = 1 | {d_i})}{P(x = 0 | {d_i})} =
\frac{\frac{P({d_i} | x = 1)P(x = 1)}{P({d_i})}}{\frac{P({d_i} | x = 0)P(x = 0)}{P({d_i})}} =
\frac{P({d_i} | x = 1)}{P({d_i} | x = 0)} \cdot \frac{P(x = 1)}{P(x = 0)}
$$

因为 $ d_1 $ 和 $ d_2 $ 在给定 $ x $ 时条件独立，即

$$
P(x, d_1, d_2) = P(x)P(d_1 | x)P(d_2 | x)
$$

所以

$$
P({d_i} | x) = P(d_1 | x)P(d_2 | x)
$$

那么

$$
\frac{P({d_i} | x = 1)}{P({d_i} | x = 0)} =
\frac{P(d_1 | x = 1)P(d_2 | x = 1)}{P(d_1 | x = 0)P(d_2 | x = 0)} =
\frac{P(d_1 | x = 1)}{P(d_1 | x = 0)} \cdot \frac{P(d_2 | x = 1)}{P(d_2 | x = 0)}
$$

综上可得，

$$
\frac{P(x = 1 | {d_i})}{P(x = 0 | {d_i})} =
\frac{P(d_1 | x = 1)}{P(d_1 | x = 0)} \cdot \frac{P(d_2 | x = 1)}{P(d_2 | x = 0)} \cdot \frac{P(x = 1)}{P(x = 0)}
$$

3、考虑一个 N 维实空间中半径为 r 的球体。证明该球体位于半径在 r - ϵ 到 r 之间（其中 0 < ϵ < r）的表面壳层内的体积占比为：f = 1 - (1 - ϵ / r)^N。分别计算当 (a) ϵ/r = 0.01；(b) ϵ/r = 0.5 时，N = 2、N = 10 和 N = 1000 情况下的 f 值。

对于该比例的证明：$ N $ 维中半径为 $ r $ 的超球体体积与 $ r^N $ 成正比，所以半径在 $ r - \epsilon $ 到 $ r $ 之间的体积占比为：

$$
\frac{r^N - (r - \epsilon)^N}{r^N} = 1 - \left(1 - \frac{\epsilon}{r}\right)^N
$$

计算结果如下：

• 当 $ \frac{\epsilon}{r} = 0.01 $ 时：
• $ N = 2 $ 对应 $ f $ 值为 0.02
• $ N = 10 $ 对应 $ f $ 值为 0.096

• $ N = 1000 $ 对应 $ f $ 值为 0.99996

• 当 $ \frac{\epsilon}{r} = 0.5 $ 时：

• $ N = 2 $ 对应 $ f $ 值为 0.75
• $ N = 10 $ 对应 $ f $ 值为 0.999
• $ N = 1000 $ 对应 $ f $ 值为 $ 1 - 2^{-1000} $

4、设 pa = 0.1，pb = 0.2，pc = 0.7。P(x) 落在区间 [0.15, 0.5] 的概率是多少？P(|log P(x) / 0.2| > 0.05) 的值是多少？

• P(x) 落