weixin_40029703的博客

基本思路  提升方法是通过改变训练样本的权重，得到一系列弱分类器（基本分类器），然后通过组合这些弱分类器，构成一个强分类器。AdaBoost在每一轮如何改变训练数据的权值或概率分布？提高那些被前一轮弱分类器错误分类样本的权值，而降低那些被正确分类样本的权值。AdaBoost如何将弱分类器组合成一个强分类器？采取加权多数表决的方法，具体地，加大分类误差率小的弱分类器的权值，使其在表决中起较大的作用，减小分类误差率大的弱分类器的权值，使其在表决中起到较小的作用。AdaBoost算法  假设给定

  分类与回归树（classification and regression tree, CART），既可以用于分类也可以用于回归。它是在给定输入随机变量XXX条件下输出随机变量YYY的条件概率分布的学习方法。CART 假设决策树时二叉树，内部结点特征的取值为“是”和“否，左分支是取值为“是”的分支，右分支为“否”的分支。这样的决策树等价于递归地二分每个特征，将输入空间（特征空间）划分为有限个单元，并在这些单元上确定预测的概率分布，也就是给定条件下输出的条件概率分布。  CART算法由以下两步组成：决

Bagging   Bagging基于自助采样法，给定包含m个样本的数据集，我们先随机取出一个样本放入采样集中，再把该样本放回初始数据集中，使得下次采样仍肯能被选中，这样经过m次操作，我们得到m个样本的采样集，照这样，我们可采样出T个含m个训练样本的采样集，然后基于每个采样集训练一个基学习器，再将这些学习器进行结合。  在对预测输出进行结合时，Bagging通常对分类任务使用简单投票法，对回归任务使用简单平均法。随机森林 RF  RF是以决策树为基学习器构建Bagging集成的基础上，进一步在决策

前言贝叶斯定理阐述了两个随机事件之间的关系：p(A∣B)=p(B∣A)p(A)p(B)p(A|B) = \frac{p(B|A)p(A)}{p(B)}p(A∣B)=p(B)p(B∣A)p(A)​朴素贝叶斯法是基于贝叶斯定理和特征独立性假设的分类方法。对于给定的训练数据，首先基于特征独立性假设学习输入输出的联合概率分布，然后基于此模型，对于给定的输入xxx，利用贝叶斯定理求出后验概率最大的输出...

参考：《机器学习》-雷明https://blog.youkuaiyun.com/THmen/article/details/87366904最优化方法，即寻找函数极值点的数值方法。通常采用的迭代法，它从一个初始点x0x_0x0​开始，反复使用某种规则（一阶导数即梯度或者二阶导数信息即Hessian矩阵）从xkx_kxk​到下一个点xk+1x_{k+1}xk+1​，直到到达函数的极值点。最优化问题可...

参考：《机器学习与应用》文章目录微积分与线性代数导数向量与矩阵向量代数余子式伴随矩阵偏导数与梯度雅克比矩阵Hessian矩阵泰勒展开行列式特征值与特征向量奇异值分解向量与矩阵求导微积分与线性代数导数导数定义为函数的自变量变化值趋向于0时，函数的变化量与自变量的变化量比值的极限，即如果上面的极限存在，则称函数在该点处可导。导数的几何意义是函数在某一点处的切线的斜率，物理意义是瞬时速度。各...