5、机器学习中的分类算法：贝叶斯与k近邻

机器学习中的分类算法：贝叶斯与k近邻

1. 贝叶斯分类器

贝叶斯分类器是一种基于概率的分类方法，其核心思想是计算每个类别的后验概率，然后将样本分配给后验概率最大的类别。

1.1 基本原理

贝叶斯分类器通过分别计算每个类别 $c_i$ 的 $P(x|c_i)P(c_i)$ 乘积，然后将示例 $x$ 标记为该乘积值最大的类别。主要问题在于如何计算概率 $P(x|c_i)$，通常通过假设各个属性相互独立来简化计算，此时 $P(x|c_i) = \prod_{j=1}^{n} P(x_j|c_i)$，其中 $n$ 是属性的数量。

1.2 m - 估计

在实验证据不足的领域，相对频率不可靠，m - 估计可以利用用户对事件概率的估计。例如，对于一个硬币抛掷三次，结果分别为正面、反面、反面的情况，使用 $m = 3$ 和 $\theta_{heads} = \theta_{tails} = 0.5$ 可以计算 m - 估计。

1.3 连续属性的处理

在具有连续属性的领域中，离散概率 $P(x|c_i)$ 的作用由概率密度函数 $p_{c_i}(x)$ 取代，但分类过程相同，即选择使 $p_{c_i}(x)P(c_i)$ 乘积最大的类别。概率密度函数的具体形状可以通过离散化、使用标准化概率密度函数或高斯函数之和来近似。

1.4 数值示例

假设给定一个包含六个示例的训练集，每个示例由三个连续属性描述，使用贝叶斯公式来确定向量 $x = (9, 2.6, 3.3)$ 的最可能类别。具体步骤如下：
1. 计算 $p_{pos}(x)$ 和 $p_{neg}(