5、硬件感知的概率机器学习模型：贝叶斯网络与概率电路

硬件感知的概率机器学习模型：贝叶斯网络与概率电路

1. 贝叶斯网络分类器

1.1 分类任务与贝叶斯规则

分类任务旨在为一组特征描述的实例分配类别标签。通过应用贝叶斯规则计算给定特定实例下某个类别的概率，并预测使后验概率最大化的类别值：
[c = \arg\max_{C} Pr(C|f)]
其中，$Pr(·|\theta)$ 是由参数为 $\theta$ 的贝叶斯网络诱导的概率分布，$d_i$ 是数据集 $D$ 的一个案例，是变量 $X$ 的值组成的向量。

1.2 朴素贝叶斯分类器与贝叶斯网络分类器

朴素贝叶斯分类器虽然简单且有较强的条件独立性假设，但在分类性能上具有竞争力。然而，其一些独立性假设往往缺乏数据支持。为了改进朴素贝叶斯的性能，贝叶斯网络分类器被提出，它通过放宽一些强独立性偏差来提升性能。

基于朴素贝叶斯结构的贝叶斯网络分类器要求类别变量是每个特征的父节点，网络中始终编码 $Pr(C|F)$ 项，确保所有特征都依赖于类别变量。例如，在移动机器人根据车载测量和观测识别所在房间的场景中，朴素贝叶斯网络分类器可以进行建模。

1.3 树增强朴素贝叶斯（TAN）分类器

为了进一步提高贝叶斯网络分类器的性能，可以在特征之间添加边，以编码许多领域中存在的特征之间的关系。但找到特征之间的最优增强边集是一个难以解决的问题。因此，Friedman 等人提出了树增强朴素贝叶斯（TAN）分类器，其中每个特征的父节点包括类别变量和至多一个其他特征。

TAN 分类器学习边的过程具有多项式时间复杂度，基于 Chow 和 Liu 的树学习方法，该方法基于特征对之间的互信息