27、分类数据的概率模型与朴素贝叶斯方法

分类数据的概率模型与朴素贝叶斯方法

1. 概率模型基础

在机器学习中，概率模型是处理数据的重要工具。通过对数据建立概率分布模型，我们可以更好地理解数据的特征和规律。

1.1 回归模型的概率推导

在回归分析中，我们可以从概率的角度推导出普通最小二乘法。对负对数似然函数关于参数 (a)、(b) 和 (\sigma^2) 求偏导数并令其为零，得到以下三个方程：
(\sum_{i = 1}^{n} (y_i - (a + bx_i)) = 0)
(\sum_{i = 1}^{n} (y_i - (a + bx_i))x_i = 0)
(\frac{n}{2\sigma^2} - \frac{\sum_{i = 1}^{n} (y_i - (a + bx_i))^2}{2(\sigma^2)^2} = 0)
前两个方程与之前的例子推导结果相同，分别得到 (\hat{a} = \bar{y} - \hat{b}\bar{x}) 和 (\hat{b} = \frac{\sigma_{xy}}{\sigma_{xx}})。第三个方程表明残差平方和等于 (n\sigma^2)，并给出噪声方差的最大似然估计为 (\frac{\sum_{i = 1}^{n} (y_i - (a + bx_i))^2}{n})。

1.2 分类数据的概率分布

分类变量或特征在机器学习中无处不在。常见的概率分布包括伯努利分布、二项分布、类别分布和多项分布。
- 伯努利分布 ：以 17 世纪瑞士数学家雅各布·伯努利命名，用于描述布尔或二元事件，有成功（1）和失败（0）两种可能结果。其参数为