28、概率模型：从逻辑回归到期望最大化算法

概率模型：从逻辑回归到期望最大化算法

1. 概率密度估计方法

在处理数据时，我们常常需要对数据的概率密度进行估计。常见的概率密度估计方法有以下几种：
- 直方图 ：这是一种简单的非参数方法，它将数据划分为固定数量的等宽区间，通过统计每个区间内的数据点数量来估计概率密度。
- 核密度估计 ：该方法通过插值来获得平滑的密度函数，能够更细致地反映数据的分布特征。
- 基于正态分布假设的估计 ：假设数据服从正态分布，通过估计样本的均值和方差来得到概率密度曲线。

下面是一个简单的示例，展示了这三种方法在从正态分布和均匀分布中采样的 20 个数据点上的应用：
| 数据分布 | 直方图 | 核密度估计 | 基于正态分布假设的估计 |
| ---- | ---- | ---- | ---- |
| 正态分布（均值为 0，方差为 1） | 简单划分区间统计 | 平滑曲线 | 钟形曲线 |
| 均匀分布 [-2, 2] | 简单划分区间统计 | 平滑曲线 | 可能不适用 |

从图中可以看出，在不同的数据分布下，各种方法的表现有所不同。在正态分布数据上，基于正态分布假设的估计能够很好地拟合数据；而在均匀分布数据上，非参数方法通常表现更好。

2. 逻辑回归：一种判别式学习模型

判别式学习和生成式学习是概率模型中的两种重要方法。生成式模型（如朴素贝叶斯模型）在训练后可以用于生成数据，而判别式模型则专注于直接建模决策边界。逻辑回归是一种常用的判别式模型，下面我们来详细了解它。