线性模型小结

线性模型小结     线性模型，顾名思义，就是使用将特征的线性组合得到的超平面划分特征空间的方法。简单的在二维空间中，线性模型就是一条直线，而在三维空间中，线性模型就是一个平面，它们都可以将所在空间划分为两部分。当有多个超平面的时候可以将空间划分为多个区域。 怎么得到线性模型？在PRML中将主要的方法划分为三种方式 1：discriminant function即判别函数法 主要途径是得到一个判别函数，通过函数来对样本空间进行划分。 2：使用贝叶斯理论求后验概率P(Ck|X)，由类条件概率和先验概率得到后验概率。generative models. 3：另一种方法也是求后验概率P(Ck|X)，但是并不是使用贝叶斯理论先求条件概率和先验概率来得到。而是直接构建后验概率的模型，然后通过训练集来优化该模型的参数，可以使用最大似然等方法来解决。Logistic regression. Iterative reweighted least squares. 本章的内容也是按照这个基本的结构来划分的： 一：判别函数方法 1：least squares for classification 最小二乘分类，最小错误率                           2：Fisher’s linear discriminant Fisher线性分类：样本在投影空间中的最大可分性 3：Perceptron algorithm 感知器算法：在样本线性可分的情况下能保证收敛，并且分类超平面结果不确定，取决于初始化权值。 二：概率产生模型（probabilistic generative models） 通过贝叶斯理论将后验概率表示为先验概率和类条件概率，得到Logistic函数的形式，然后通过最大似然估计来优化Logistic函数的参数。主要讨论了样本的类条件分布概率符合高斯分布情况，两类样本可以有相同的协方差矩阵，也可有不同的协方差矩阵，主要讨论前者。然后是讨论了离散特征的处理，以及用指数族来表示其通用形式。 三：概率区分模型 在二中的处理方式是一种间接的处理方式，另一种相对应的模型就是直接构建其后验概率模型，通过最大似然估计来优化其参数。 代表性的方法就是Logistic regression。关于权值的更新介绍了Iterative reweighted least squares方法来更新权值。 probit regression：使用probit activation function来对样本进行分类。 然后简单的介绍多类别情况的Logistic regression。Canonical link function是Logistic regression的统一表示形式，跟指数族类似。 四：拉普拉斯逼近（Laplace Approximation） 前面讲的很多模型都是针对高斯分布的，当样本不符合高斯分布的时候显然就不能再使用，所以该节介绍了一种使用高斯分布逼近非高斯分布的技术：Laplace Approximation。主要分为三步：找最大点，泰勒展开，归一化。 该节的另一个重点部分是从数学角度分析了模型选择问题：分析了过拟合产生的原因以及模型选择方法BIC（Bayesian Information Criterion）方法。 五：Bayesian Logistic Regression 将拉普拉斯逼近用于Logistic regression。

http://hi.baidu.com/macula7/blog/item/9e656851dc099d561138c276.html