24、贝 叶斯网络分类器：离散与连续变量的分类利器

贝 叶斯网络分类器：离散与连续变量的分类利器

在当今的数据驱动时代，分类问题无处不在，从医学诊断到金融风险评估，从图像识别到自然语言处理，准确的分类对于做出明智决策至关重要。贝叶斯网络分类器作为一种强大的工具，在解决这些分类问题中发挥着重要作用。它不仅能够处理离散变量，还能应对连续变量，为我们提供了一种灵活且有效的分类方法。

离散贝叶斯网络分类器

离散贝叶斯网络分类器通过贝叶斯网络对 $p(x,c)$ 进行因式分解，其结构是有向无环图（DAG），每个变量具有分类分布。在 0 - 1 损失下，贝叶斯决策规则是找到使 $p(c|x)$ 最大的 $c^*$。

• 朴素贝叶斯（Naive Bayes） ：这是最简单的贝叶斯网络分类器，假设预测变量在给定类别下条件独立。对于二元变量，决策边界是超平面；对于有序非二元预测变量，决策边界是 $n$ 个多项式的和。即使条件独立假设不成立，模型的分类性能可能仍然良好。加权朴素贝叶斯通过调整概率来提高预测准确性。此外，还可以引入隐藏变量来放松条件独立假设，如朴素贝叶斯加隐藏变量、层次朴素贝叶斯、有限混合模型和有限混合增强朴素贝叶斯等。
• 选择性朴素贝叶斯（Selective Naive Bayes） ：通过选择相关且非冗余的变量来提高朴素贝叶斯的分类性能。可以使用过滤和包装方法进行特征选择，还可以使用正则化技术进行嵌入式特征选择，如 L1/L2 正则化朴素贝叶斯和前向逐步朴素贝叶斯。
• 半朴素贝叶斯（Semi - naive Bayes） ：通过引入由两个或多个原始预测变量的笛卡尔积得