chezhai的博客

监督学习就是我们给学习算法一个数据集， 这个数据集由”正确答案“组成。其中有分类问题和回归问题。回归是指我们试着推测出这一数据集连续值得属性。分类是指我们试图推测出离散的输出值。无监督学习是指数据集没有任何的标签或者是有相同的标签或者就是没有标签。（对比监督学习的“正确答案”）。无监督学习算法可能会把数据集分成两个不同的簇，所以其中有一种聚类算法

hypothesis:cost function:goal:minisize(J)梯度下降算法：用来求函数最小值， 此处用来求代价函数J的最小值。其中，要同时改变算法推导：梯度下降算法事件1：特征缩放最简单的缩放是：梯度下降算法实践2：alpha（learning rate）需要绘制cost function来观察在何处收

argument of the maximum/minimumarg max f(x): 当f(x)取最大值时，x的取值arg min f(x)：当f(x)取最小值时，x的取值表示使目标函数取最小值时的变量值From WikipediaIn mathematics, arg max (or argmax) stands for the a

上一次写了关于PCA与LDA的文章，PCA的实现一般有两种，一种是用特征值分解去实现的，一种是用奇异值分解去实现的。在上篇文章中便是基于特征值分解的一种解释。特征值和奇异值在大部分人的印象中，往往是停留在纯粹的数学计算中。而且线性代数或者矩阵论里面，也很少讲任何跟特征值与奇异值有关的应用背景。奇异值分解是一个有着很明显的物理意义的一种方法，它可以将一个比较复杂的矩阵用更小更简单的几个子矩阵的相乘来

点击打开链接点击打开链接由于转载失败，所以只能超链接了

1.SMO概念上一篇博客已经详细介绍了SVM原理，为了方便求解，把原始最优化问题转化成了其对偶问题，因为对偶问题是一个凸二次规划问题，这样的凸二次规划问题具有全局最优解，如下： 其中(xi,yi)表示训练样本数据，xi为样本特征,yi∈{−1,1}为样本标签，C为惩罚系数由自己设定。上述问题是要求解N个参数(α1,α2,α3,...,αN)，其他参数均为已知，有多种算法可以对上述问