Du_Shuang的博客

1.Dual Support Vector Machine::Motivation of Dual SVM 上一节我们知道要如下求SVM的解，但是二次规划有一个问题那就是当w的系数很多即d很大时，二次规划将很难求解，这样就限制了我们的边界不能是很复杂的边界。 这里我们将标准问题转换为对偶问题，对偶问题的结果与标准问题一样，但是对偶问题的变量数和限制条件数将只和数据量有关系而和d无关。 ...

1.Large-Margin Separating Hyperplane 下面的三个图形用我们之前的线型方法都分类正确了，但是哪个是最好的呢？大部分人会选第三个。 为什么呢？因为我们发现，我们测试的资料会和我们的训练资料会有误差，而最右边的分割线的误差容忍度比较大，所以测量精度会更高。我们这里以灰色的圈圈代表误差容忍度。 我们将上述圈圈的大小转换为线的宽度，为了找到拥有最大容忍度的圈...

1.Soft-Margin SVM as Regularized Model 我们对hard-margin svm和soft-margin svm进行回顾，我们首先求出问题的基本式，然后转换成对偶式，最后对对偶式利用二次规划工具求解。 hard-margin svm的条件物理意义为希望数据能够全部分对即Ein=0.最小化式子的物理意义为希望使求出边界最大的分割线。 soft-margin s...

1.Kernel Trick 由上次课我们可以知道，对偶问题在求解系数q的时候仍然会被z的d所限制，虽然对偶问题表面上不受数据维度的影响，但是实际上仍然会受到限制。 这一次课我们将讲解怎么破除这种限制。 首先我们将z看作是φ对x做了变换后得到的数据。 然后我们假设φ是2nd order polynomial transform,我们将直接对x进行转换然后求内积，过程如下所示： 我们发...

1.Motivation and Primal Problem 之前我们学习的Hard-Margin SVM要求所有的数据都必须得正确分开，如下图所示，给定的数据并不能够被一条直线完全分开，所以SVM用线型核可能得不到解，从而得用高次核得到如右图所示的分类效果，但是右边的分类器及其可能过拟合。所以Hard-Margin SVM不适用于不能完全被分开的数据集。 而实践中碰到的数据集大部分都是...

以上是基本的RF，首先利用bagging获取不同的资料，然后对不同的资料使用decision tree，最后对decision tree的结果进行公平的投票。更近一步，我们不止将数据的获取随机化，而且在每次branch的时候选择不同的特征子集进行分割，比如总共有100个特征，我们在每次baranch时随机抽取10个特征进行分割特征的选取。我们选取子空间的过程其实就是对原特征进行一个投影，...

1.Adboost decision treeGradient boosted decision 就是将Adaboost和decision Tree结合起来的算法。Adaboost是根据前一步求出的g的错误率来提高错误数据在下一笔训练数据里面的权重来不断训练处新g的。但是decision tree没有权重的概念我们该怎么办呢？我们的方法是根据权重来对数据进行取样，比如错误率本来是10，那...

1.motivation of aggregation假如我们学习了T个模型，那么我们怎么组合这些模型能得到最好的模型呢？1.用validation求出其中最好的一个作为我们最终的模型。2.利用所有的模型进行平均投票。3.非均匀投票。4.不同条件下给与不同的投票权重。第一张图像的详细解释。仅靠一个模型选择可能效果不如众多模型一起的结果。上图说明，投票的结果能够使学习结果更好...

Bagging为uniform的blending,随机采样构建不同的g，然后权重相等的投票。AdaBoost是线型的Blending,给与不同的g，不同的权重。Decision Tree是根据不同条件进行分割。...