机器学习的小学生

多条件隐含变量模型 for 联合的面部运动单元检测

Gaussian Processes for Machine Learning.pdf

给定一个协方差矩阵 Σ\Sigma, 其可以唯一的分解为点乘形式: Σ=UTU\Sigma = U^T U 其中UU是上三角矩阵。几何上讲，Cholesky矩阵将无相关的变量转换为由Σ\Sigma给定的方差和协方差的相关变量。特别的，如果产生了pp个标准正态分布的变量，Cholesky转换将这些变量映射为多元正态分布（其协方差矩阵为Σ\Sigma，中心在原点（表示为MVN(0,Σ)\text{M

高斯过程(GPs)可以很方便的用于贝叶斯监督学习，例如回归 和分类。GP过程推断的最简单的形式可以通过几行代码实现。然而，在实际应用中，为了有代表性，事情会更复杂些：你可能想用更复杂的协方差和均值函数，学习好的超参数，使用非高斯似然函数（使用精确的推断是不可行的），使用近似算法，或者上面的许多或者所有的（如多个均值函数的组合））组合。这是GPMP工具包所做的事情。第3节的其余部分首先在下一小节中介绍

高斯过程的优点是：1.预测值是观察值的插值（至少对于普通的核是这样的） 2.预测值是概率的（高斯），因此我们可以计算经验置信区间，然后根据这些信息，在某个感兴趣区域重新拟合（在线拟合，自适应拟合）预测。 3.多功能：可以指定不同的核。提供了常见的核，但是也可以指定特定的核。高斯过程的缺点： 1. 不是稀疏的。也就是说，它们使用完整的样本/特性信息来进行预测。 2. 在高维空间失去了有效性–当