w_xuechun的博客

特点：（1）分类、回归         （2）判别模型         （3）有监督                        思想：K近邻法不具有显式的学习过程，训练数据的类别已知，当我们需要判断新的样本x属于哪一个类别时，在训练集中根据距离度量找出距离x最近的K个样本，用投票法对x的类别进行判断。模型：利用训练数据集对特征空间进行划分，并将其作为分类的“模型”。策略：多数表决规则等价于经验...

集成学习：多个弱分类器组合成一个强分类器。 1.Adaboost：通过改变训练样本的权重（初始时权重相同，每次将前一个分类器分类错误的那些样本的权重增加，表现在分类误差率的计算上），反复训练多个弱分类器，最后根据这些弱分类器的分类误差率（权重）将他们线性组合到一起。其中分类误差率越大权重越小。 等价于损失函数为指数损失时的前向分布算法。 优点： 2.Bagging：重复有放回的从训练样本中...