Andy123321aa的博客

梯度提升决策树（GBDT：GradientBoostingDecisionTree）算法是集成学习中boosting的一种。总体思路是利用每个弱学习器计算当前输出与真实值的残差，然后讲每个学习器输出的残差进行累加，以求接近真实值。训练过程可以用下面的公式来表示： fm(x)=fm−1(x)+Tm(x,Δm) {f\mathop{ {} } \nolimits_{ {m} } { \left( {x...

决策树算法的大概流程 首先我们要知道，决策树是根据训练集构造一个树结构，每个分叉相当于一次判断，每个叶子节点就是模型的输出。如下图所示： 步骤1：就对于每一个节点，选取最优分叉属性。选择最优属性的方法有很多种，最常见的是信息增益法。 步骤2：把当前节点的训练样本集合，按照最优分叉的属性值分成几个子集，分别作为下一个节点。 举个例子：如果步骤1告诉我们，当前节点最优属性是“纹理”，且纹理有...

贝叶斯分类器解决的是分类问题。 假设模型的输入特征为x，输出结果为y。首先我们需要弄明白几个概念： 先验概率：p(y) 后验概率：p(y|x) 似然函数：p(x|y) 证据因子：p(x) 极大似然估计 极大似然估计可以看做是一个训练贝叶斯分类器的方法。 首先我们需要了解贝叶斯公式： p(yi∣x)=p(x∣yi)p(yi)∑mj=1p(x∣yj)p(yj) {p{ \left( {y\math...

每次拿到一本书，我都会从第一页开始翻。看看作者或者是知名的读者写在前面的话，往往能够更好的把握这本书，甚至这个领域的脉络和方向。读完《机器学习》这本书的序言，作为小白的我可以说是很好的了解到了机器学习的历史，现状以及未来，还有《机器学习》这本书的定位，大体脉络，可以说是受益匪浅。 下面简要总结下要点： 1、 机器学习的发展历程是从符号学习到统计学习，现在所用到是主流机器学习的方法是属于统计机器学习...

本章主要介绍了机器学习是干什么的，以及机器学习的一些基本术语，发展历程和应用现状。 我举一个工程当中的例子来说明一下这一章讲到的机器学习基本属于和概念的内容。假设现在我们有若干张书的照片和若干张笔的照片，我们的任务是让计算机利用现有的照片进行学习，然后输入一张新的照片时，判断出是书的照片还是比的照片，这就是机器学习要完成的任务。 1、现有的若干张照片叫做“数据集”。 2、“数据集”中的某一张照片叫...

本文主要总结吴恩达老师机器学习公开课的知识点。课程共8次编程作业已经上传到我的GitHub上了。链接为：https://github.com/Andyflying/ML-assignment-professorNg 回归和分类 回归问题是指用已知数据拟合一个合适的假设函数h(x)，或者可以理解为曲线，来预测新输入的变量的输出结果，如给定房间的大学位置等信息，预测房价。 而分类问题，顾名思义，是指用...

算法的目标 主成分分析（PCA）算法的目标是将一组p维的样本数据降为d维；需要满足两个条件： 样本数据各点与其映射到d维中的点的距离尽量近。 样本数据映射到d维之后，他们的投影之间的相互距离尽可能远。 （其实这两个条件是等价的。） 举个例子，如果p=2，d=1，则PCA算法可以由下图表示： 算法的步骤 对所有的样本进行中心化操作，如果有m个样本数据，中心化操作如下： xi←xi−1m∑i...