5、参数方法：从概率估计到模型选择

参数方法：从概率估计到模型选择

在统计学和机器学习领域，参数方法是一种强大的工具，用于处理分类和回归问题。本文将深入探讨参数方法的核心概念，包括最大似然估计、贝叶斯估计、参数分类、回归以及模型复杂度的调整。

1. 引言

在统计推断中，我们常常根据样本信息来做出决策。参数方法假设样本来自某个已知模型的分布，例如高斯分布。这种方法的优势在于，模型可以由少量参数（如均值和方差）来定义，一旦这些参数从样本中估计出来，整个分布就已知了。我们使用最大似然估计来估计分布的参数，并引入贝叶斯估计作为补充。

1.1 密度估计与决策

我们从密度估计开始，这是估计 $p(x)$ 的一般情况。在分类问题中，我们使用估计的类密度 $p(x|C_i)$ 和先验概率 $P(C_i)$ 来计算后验概率 $P(C_i|x)$，从而做出决策。在回归问题中，我们估计的密度是 $p(y|x)$。

2. 最大似然估计

最大似然估计是一种常用的参数估计方法。假设我们有一个独立同分布（iid）的样本 $X = {x_t}_{t=1}^N$，且 $x_t$ 来自某个已知概率密度族 $p(x|\theta)$。我们的目标是找到 $\theta$，使得从 $p(x|\theta)$ 中采样得到 $x_t$ 的可能性最大。

2.1 似然函数与对数似然函数

似然函数定义为：
[l(\theta|X) \equiv p(X|\theta) = \prod_{t=1}^N p(x_t|\theta)]
为了简化计算，我们通常使用对数似然函数：
[L(\theta|X) \equiv \log l(\