MLaPP Chapter 4 Gaussian models 高斯模型

4.1 Introduction 介绍

4.1.1 Notation 符号

一般矩阵用大写加粗的字母，向量用小写加粗字体。

4.1.2 Basics 基础

回顾一下多元高斯概率密度函数：

$$\mathcal{N}(\mathbf{x}|\boldsymbol{\mu}, \mathbf{\Sigma}) \triangleq \frac1{(2\pi)^{D/2}|\mathbf{\Sigma}|^{1/2}}\mathrm{exp}\left[-\frac12(\mathbf{x}-\boldsymbol{\mu})^T\mathbf{\Sigma}^{-1}(\mathbf{x}-\boldsymbol{\mu})\right]$$

---

首先，我们来胡扯一下。不不不，不对，首先我们来解释一下马氏距离（Mahalanobis Distance）的概念。和欧式距离（Euclidean distance）一样，马氏距离可以计算两点之间的距离，但是在计算距离的时候，同时会考虑整体样本的分布情况，所以可以说马氏距离也是衡量一个点与一个分布之间的标准。

假设多维的高斯分布均值为 $\boldsymbol{\mu}=(\mu_1,...,\mu_n)$，那么定义变量 $\mathbf{x} = (x_1,...,x_n)$ 两点之间的欧氏距离为

$$d_E(\mathbf{x}, \boldsymbol{\mu}) = \sqrt{(\mathbf{x}-\boldsymbol{\mu})^T(\mathbf{x}-\boldsymbol{\mu})} = \sqrt{(x_1-\mu_1)^2 + \cdots + (x_n-\mu_n)^2}$$ 那么以原点为中心，欧氏距离 $\left\| \mathbf{x} \right\|_2 = c$ 的所有点集合为一个正球体， $$x_1^2 + x_2^2 + \cdots + x_n^2 = c^2$$

在统计上，我们希望寻找一个这样的距离，沿着某方向分量上的数据如果比较离散，则给一个较小的权重。假设有

$$\boldsymbol{u} = (\frac{x_i}{s_i}), \boldsymbol{v} = (\frac{\mu_i}{s_i}), i = 1,...,p$$ 为新的基底，
$$\begin{align*} d_M(\mathbf{x},\boldsymbol{\mu}) = d_E(\boldsymbol{u}, \boldsymbol{v}) & = \sqrt{(\mathbf{u}-\boldsymbol{v})^T(\mathbf{u}-\boldsymbol{v})} \\ & = \sqrt{(\frac{x_1-\mu_1}{s_1})^2 +\cdots + (\frac{x_n-\mu_n}{s_n})^2} \\ & = \sqrt{(\mathbf{x}-\boldsymbol{\mu})^T\mathbf{\Sigma}^{-1}(\mathbf{x}-\boldsymbol{\mu})}\end{align*}$$

这里的 $\mathbf{\Sigma} = \text{diag}(s_1^2,\cdots,s_n^2)$

那么以原点为中心，马氏距离 $\left\| \mathbf{x} \right\| = c$ 的所有点集合为一个椭球体，

$$(\frac{x_1}{s_1})^2 + (\frac{x_2}{s_2})^2 + \cdots + (\frac{x_n}{s_n})^2 = c^2$$

---

好了，上面都是根据某篇博客胡编的，下面来看书里是怎么解读多元高斯分布的概率密度函数的。

首先，协方差矩阵 $\boldsymbol{\Sigma}$ 是一个实对称矩阵，必然可以正交对角化。有 $\boldsymbol{\Sigma} = \mathbf{U}^T \boldsymbol{\Lambda} \mathbf{U}$，其中 $\mathbf{U}$ 为正交矩阵（orthonormal matrix），即满足 $\bf{U^TU=I}$，由矩阵 $\bf{\Sigma}$ 的特征向量组成；$\bf{\Lambda}$ 为对角矩阵（diagonal matrix），对角元素为 $\bf{\Sigma}$ 的特征值。同理：

$$\boldsymbol{\Sigma}^{-1} = \mathbf{U}^{-T}\boldsymbol{\Sigma}^{-1}\mathbf{U}^{-1} = \mathbf{U}\boldsymbol{\Sigma}^{-1}\mathbf{U}^T = \sum_{i=1}^D \frac{1}{\lambda_i}\mathbf{u}_i \mathbf{u}_i^T$$ 注意