5、参数方法：从概率估计到模型选择

参数方法：从概率估计到模型选择

在统计学和机器学习领域，参数方法是一种强大的工具，可用于分类和回归问题。本文将深入探讨参数方法的核心概念，包括最大似然估计、贝叶斯估计、偏差与方差的权衡，以及模型选择的各种策略。

1. 引言

在统计推断中，我们常常需要根据样本信息做出决策。参数方法假设样本来自某个已知模型的分布，例如高斯分布。这种方法的优势在于，一旦通过样本估计出分布的少数参数（如均值和方差），整个分布就可以确定。我们使用最大似然估计来估计分布的参数，并引入贝叶斯估计，以结合先验信息进行更准确的推断。

2. 最大似然估计

最大似然估计的目标是找到使样本出现概率最大的参数值。假设我们有一个独立同分布（iid）的样本 $X = {x_t} {t=1}^N$，且 $x_t$ 来自某个已知概率密度族 $p(x|\theta)$。参数 $\theta$ 的似然函数定义为：
[l(\theta|X) \equiv p(X|\theta) = \prod {t=1}^N p(x_t|\theta)]
为了简化计算，我们通常最大化对数似然函数：
[L(\theta|X) \equiv \log l(\theta|X) = \sum_{t=1}^N \log p(x_t|\theta)]

接下来，我们将介绍三种常见分布的最大似然估计：
- 伯努利分布 ：在伯努利分布中，事件发生的概率为 $p$，不发生的概率为 $1 - p$。随机变量 $X$ 取值为 1 或 0，其概率质量函数为：
[P(x) = p^x(1 - p)^{1 - x}, x \in