5、概率模型与硬件感知成本在机器学习中的应用

概率模型与硬件感知成本在机器学习中的应用

1. 贝叶斯网络分类器

1.1 分类任务与贝叶斯规则

分类任务是为一组特征描述的实例分配一个类别标签。通过应用贝叶斯规则来计算给定特定实例下某个类别的概率，并预测使后验概率最大化的类别值，公式如下：
[c = \arg\max_{C} Pr(C|f)]

1.2 朴素贝叶斯分类器与贝叶斯网络分类器

• 朴素贝叶斯分类器虽然简单且有较强的条件独立性假设，但在分类性能上具有竞争力。不过，其一些独立性假设往往得不到数据支持。
• 贝叶斯网络分类器通过放宽朴素贝叶斯的一些强独立性偏差来提高性能。基于朴素贝叶斯结构的贝叶斯网络分类器要求类别变量是每个特征的父节点，网络中始终编码 (Pr(C|F))，确保所有特征依赖于类别变量。

1.3 树增强朴素贝叶斯（TAN）分类器

• 为进一步提高贝叶斯网络分类器的性能，可在特征之间添加边来编码特征间的关系。但找到特征间最优的增强边集是一个难以解决的问题。
• Friedman 等人提出了树增强朴素贝叶斯（TAN）分类器，其中每个特征的父节点为类别变量和至多一个其他特征。
• 学习 TAN 分类器边的过程基于 Chow 和 Liu 的树学习方法，构建最大加权生成树，该过程具有多项式时间复杂度。
  • 互信息的一般定义：
    [MI(X, Y) = \sum_{x,y} P(x, y) \log \frac{P(x, y)}{P(x)P(y)}]
  • 条件互信息的定义：
    [CM