youdianluanluan的专栏

X表示特征，y表示预测变量 判别模型：对p(y|x,θ)进行建模，求的是p(y|x,θ)的条件概率。 对于线性回归，或者因变量是连续型变量，假设满足高斯分布模型，目标/损失函数的定义有2种方法： 求给定样本最小化误差的平方和，即最小化二乘法，可通过求矩阵的逆来得到θ，但矩阵不一定是可逆的，而且计算量大，一般考虑用梯度下降法或者牛顿法迭代计算，给定样本的最大似然。 2种方法殊途同归，

首先解释一下指数分布族的概念。如果某个概率分布能够表示这种指数形式： 例如假设某个伯努利分布Ber(fai): P(y=1;fai) = fai，这里fai表示数学符号... 取，则，所以伯努利分布是指数分布族的特例。 指数分布族还包括常见的高斯分布、指数分布、伽马分布、泊松分布等。 现在来看一下广义线性模型的三个设计决策(或者说假设)： (1)给定输入X、theta，我

X={x1,x2,...,xn}，Y={y1,y2,...,ym} 根据贝叶斯公式:p(y|x) * p(x) = p(x|y)*p(y) argmax p(y|X) = argmaxP(X|y)p(y)，即给定X，计算X属于每个分类的概率，将它归为概率最大的那一类 因此，只需要求出p(X|y)和p(y)即可，即对p(X|y)和p(y)建模 在朴素贝叶斯算法中，X的特征是相互独立的，即p(

PCA是一种unsupervised learning，可以将原本的数据降低维度，而使得降低了维度的数据之间的方差最大，但降维后的变量能尽可能多地反映原来变量的信息。也就是说，我们希望能找到一个从原d维到新的(k<d)维空间的具有最小信息损失的映射。X在W方向上的投影为:    ，样本被投影到W1后被广散分布，使得样本点之间的差别变得最明显。 如果Z1=W1TX，并且Cov(X)=∑，则 V

要理解SVM的思想，可先看看什么是最优间隔分类器。 SVM的主要思想可以概括为两点： (1)它是针对线性可分情况进行分析，对于线性不可分的情况，通过使用非线性映射算法将低维输入空间线性不可分的样本转化为高维特征空间使其线性可分，从而使得高维特征空间采用线性算法对样本的非线性特征进行线性分析成为可能。 (2)它基于结构风险最小化理论之上在特征空间中建构最优分割超平面，使得学习器得到全局最优化。