14、概率、决策与信息论：从理论到应用

概率、决策与信息论：从理论到应用

1. 条件独立性与朴素贝叶斯模型

在数据分析和建模中，条件独立性是一个重要的概念。当给定类别 $C_k$ 时，$X$ 射线数据 $x_I$ 和血液数据 $x_B$ 满足条件独立性，即：
[p(x_I, x_B|C_k) = p(x_I|C_k)p(x_B|C_k)]
这是条件独立性性质的一个例子。基于此，给定 $X$ 射线和血液数据时的后验概率为：
[p(C_k|x_I, x_B) \propto p(x_I, x_B|C_k)p(C_k) \propto p(x_I|C_k)p(x_B|C_k)p(C_k) \propto \frac{p(C_k|x_I)p(C_k|xB)}{p(C_k)}]
为了计算后验概率，我们需要先估计类别先验概率 $p(C_k)$，这可以通过每个类别中数据点的比例轻松得到。然后，对得到的后验概率进行归一化，使其总和为 1。上述特定的条件独立性假设是朴素贝叶斯模型的一个例子。不过需要注意的是，在这个模型下，联合边缘分布 $p(x_I, x_B)$ 通常不能进行因式分解。

下面通过一个简单的流程图来展示朴素贝叶斯模型的基本流程：

graph LR
    A[数据收集（X射线和血液数据）] --> B[估计类别先验概率p(Ck)]
    B --> C[计算条件概率p(xI|Ck)和p(xB|Ck)]
    C --> D[计算后验概率p(Ck|xI, xB)]
    D --> E[归一化后验概率]
    E --> F[做出分类决策]

2.