Haward

import pickleimport xgboost as xgbimport numpy as npfrom sklearn.model_selection import KFold, train_test_split, GridSearchCVfrom sklearn.metrics import confusion_matrix, mean_squared_errorfrom ...

方差（Variance）当前用来训练的数据不具有代表性，但是数据量多的时候可以减少方差。偏差（Bias）选择的模型不正确（模型偏了），怎么增加数据也无效。集成学习与方差，偏差关系平均方法通常比其任何一个基分类器效果好因为尝试去降低模型的方差（平…方，模型没有变化，这是利用多个模型进行决策），而提升方法尝试去降低模型的偏差。（因为提升方法不断修正模型）参考：从集成学习到模型的偏差和方差...

一、 Stacking代码如下：# coding=utf8from sklearn import datasetsfrom sklearn.ensemble import RandomForestClassifier, ExtraTreesClassifier, GradientBoostingClassifierfrom sklearn.cross_validation impor...

1、提升树的定义提升树是以分类树或者回归树为基本分类器的提升方法。以决策树为基函数的提升方法称为提升树（boosting tree）2、与AdaBoost算法的提升方法的区别提升树算法只需将Adaboost算法的基本分类器限制为二分类树(对于二分类问题而言)即可，可以说提升树是Adaboost算法的特殊情况。3、回归问题的提升树算法...

1、提升方法提升方法就是从弱学习算法出发，反复学习，得到一系列弱分类器(又称为基本分类器)，然后组合弱分类器，构成一个强分类器。大多数提升的方法都是改变训练数据的的概率分布(训练数据的权值分布)。2、提升方法相关问题（1）在每一轮如何改变训练数据的权值或者概率分布？Adaboost的做法就是，提高那些前一轮弱分类器错误分类样本的权值，而降低那些被正确分类样本的权值。（2）如...

给出不等式约束优化问题 minx f(x)s.t.   hi(x)=0, i=1,2,...,m           gj(x)≤0, j=1,2,...,n(1)(1)minx f(x

假设目标函数是求解f(x,y)=x2+y2f(x,y)=x2+y2f(x,y)=x^2+y^2的最小问题。 (1)假设约束条件是h(x,y)=x+y⩽1h(x,y)=x+y⩽1h(x,y)=x+y \leqslant 1，即 ⎧⎩⎨⎪⎪minf(x,y)=x2+y2s.th(x,y)=x+y⩽1{minf(x,y)=x2+y2s.th(x,y)=x+y⩽1\left\{\begin{matr...

1、信息熵信息熵是度量样本集合纯度最常用的一种指标。假设样本集合D中第kkk个类所占的比例为pkpkp_k，一共有KKK个类，则D的信息熵定义为 Ent(D)=−∑k=1Kpklog2pk(1)(1)Ent(D)=−∑k=1Kpklog2pkEnt(D)=-\sum_{k=1}^{K}p_klog_2p_k \tag{1} 信息熵Ent(D)的值越小，则D的纯度越高，即集合D中几乎全部...

1、定义设χχ\chi 是输入空间(欧式空间RnRnR^n的子集或离散集合)，又设H为特征空间(希伯尔特空间)，如果存在一个从χχ\chi 到H的映射 ϕ(x):χ→H(1)(1)ϕ(x):χ→H\phi(x):\chi \rightarrow H \tag{1} 使得对所有x,z∈χx,z∈χx,z \in \chi,函数K(x,z)K(x,z)K(x,z)满足条件 K(x,z)=...

1、bagging步骤如下： （1）从样本集合中有放回地选出n个样本 （2）在所有属性上，对这n个样本建立分类器（分类器可以是决策树，SVM，Logistic回归等） （3）重复步骤（1）、（2）m次，得到m个分类器 （4）用m个分类器对数据的预测结果进行投票2、随机森林步骤如下： （1）从样本集合中有放回地选出n个样本 （2）从所有属性中选出k个属性，对这n个样本建立分类...

如果z=f(x,y)z=f(x,y)z=f(x,y)在条件g(x,y)=0g(x,y)=0g(x,y)=0的条件下，在点(x0,y0)(x0,y0)(x_0,y_0)取得极值，如下图所示。 那么，f(x,y)f(x,y)f(x,y)的梯度与g(x,y)g(x,y)g(x,y)的梯度平行，即向量(fx′(x0,y0),fy′(x0,y0))(fx′(x0,y0),fy′(x0,y0))({f_...

SVM模型就是用一个超平面H把正负样本分开的模型，如图1所示。1、超平面的定义假设w→w→\overrightarrow{w}是垂直超平面H的法向量，x−−→x−→\overrightarrow{x_-}是一个负样本，x+−→x+→\overrightarrow{x_+}是一个正样本，x−−→x−→\overrightarrow{x_-}、x+−→x+→\overrightarrow{x_...

1、定义在training data上的error渐渐减小，但是在验证集上的error却反而渐渐增大(过拟合是泛化的反面)2、解决办法(1)正则化(Regularization)L2正则化：目标函数中增加所有权重w参数的平方之和, 逼迫所有w尽可能趋向零但不为零. 因为过拟合的时候, 拟合函数需要顾忌每一个点, 最终形成的拟合函数波动很大, L2正则化的加入就惩罚了权重变大的趋势....

1、定义二项逻辑斯谛回归模型，是如下的条件概率分布。 P(Y=1|x)=ewx1+ewx(1)(1)P(Y=1|x)=ewx1+ewxP(Y=1|x)= \frac{e^{wx}}{1+e^{wx}} \tag{1}P(Y=0|x)=11+ewx(2)(2)P(Y=0|x)=11+ewxP(Y=0|x)= \frac{1}{1+e^{wx}} \tag{2} 注意，这里为了方便...

介绍隐马尔可夫模型由：初始状态概率向量π\piπ、转态转移概率矩阵A和观测概率矩阵B决定。隐马尔可夫模型表示如下：λ=(A,B,π)\lambda = (A,B,\pi)λ=(A,B,π)其中，A,B,πA,B,\piA,B,π称为隐马尔可夫模型的三要素，隐马尔可夫模型，如下图所示：Q是所有可能的状态集合，V是所有可能观测的集合。举例如下：假设有3个盒子，每个盒子里面的球一共有10...