高斯过程回归

Gaussian Process Regression

本节我们来讲解一下高斯过程回归，这是一个比较难的知识，因此只要理解思想即可，具体细节推导不做要求。对于线性回归，我们假设所要回归的模型是一个线性模型，希望求出这个线性模型的参数；对于高斯过程回归，我们假设所要回归的模型是一个高斯过程模型，希望求出这个高斯过程模型的参数——均值函数和协方差函数。

Multi-Variable Gaussian Distribution

首先，我们来介绍一个预备知识：多元高斯分布。

假设随机变量$x\in R^n$服从均值为$\mu$，协方差矩阵为$\Sigma$的多元高斯分布，那么$p(x|\mu ,\Sigma )=\frac{1}{(2\pi {)}^{n/2}|\Sigma {|}^{1/2}}exp(-\frac{1}{2}(x-\mu {)}^T{\Sigma }^{-1}(x-\mu ))$。

它有如下的性质：

首先假设$x=[x_A,x_B{]}^T,\mu =[{\mu }_A,{\mu }_B{]}^T,\Sigma =\left[\begin{array}{cc}{\Sigma }_{aa}& {\Sigma }_{ab}\\ {\Sigma }_{ba}& {\Sigma }_{bb}\end{array}\right]$， 那么：

1. ${\int }_x$