21、统计模型与核方法解析

统计模型与核方法解析

1. 统计模型的分类

统计模型从参数角度可分为参数模型、非参数模型，还有半参数模型。下面主要介绍参数模型和非参数模型。

1.1 参数模型

• 定义 ：对于参数化统计模型 $PSM = \langle X, Y, P, \Theta \rangle$，若 $\Theta$ 是有限个参数的集合，则称其为参数模型。给定参数集 $\Theta = { \theta_1, \theta_2, \ldots, \theta_k }$ 和观测数据集 $D \subseteq X$，在该参数集 $\Theta$ 条件下，特征预测 $x$ 的概率与数据集 $D$ 无关，则此模型为参数模型。离散分布的参数模型表示为 $P(x|\theta, D) = P(x|\theta)$，连续分布的参数模型表示为 $p_{\theta, D}(x) = p_{\theta}(x)$。
• 特点 ：参数数量固定，对随机变量的概率分布有严格假设，如服从正态分布。由于随机变量 $x$ 与观测数据集 $D$ 无关，即使观测数据集无限大，模型复杂度也是有界的，且易于使用，用给定样本数据训练后可直接对未知数据进行预测和学习。
• 典型模型 ：高斯混合模型（GMM）是典型的参数模型，由 $k$ 部分组成，第 $i$ 部分均值为 $\mu_i$，方差为 $\sigma_i$，公式如下：
• $P(x|\theta) = \sum_{i = 1}^{k} \varphi_i N(x|\mu_i, \sigma_i)$ </