机器学习
关注
分享
扫一扫
文章平均质量分 90
深度技术宅
这个作者很懒，什么都没留下…
展开
-
集成树之GBDT算法
目录：导言GBDT算法2.1 GBDT回归树2.2 GBDT分类树2.2.1 二分类2.2.2 多分类Bosting提升树3.1 为什么Boosting能够降低偏差1 导言常见的集成学习算法一般可以分为两大类：Boosting和Bagging。Boosting类的核心思想在于训练多个弱分类器，最终的结果是这n个弱分类器的和，每一个弱分类器的目标是学习前m个弱分类器的和与样本...原创 2020-04-06 14:12:42 · 304 阅读 · 0 评论 -
详解决策树（干货篇）
这里写自定义目录标题1、导言2. 信息熵3. 决策树的分类3.1 ID3决策树3.2 C4.5决策树3.3 CART决策树4 决策树剪枝算法4.1 悲观剪枝法4.2 错误率剪枝法4.3 代价复杂度剪枝法5 集成学习算法1、导言决策树是机器学习中一种基本的分类与回归算法，也是构成很多集成算法的基础。决策树是基于树的结构来进行判别的，当然也可以认为它本质上是if-then规则的集合。假设我们要...原创 2020-03-30 13:53:28 · 493 阅读 · 0 评论 -
梯度下降法详解
前言梯度下降法梯度下降法是机器学习中一种常用到的算法，主要解决求最小值问题，其基本思想在于不断地逼近最优点，每一步的优化方向就是梯度的方向。对于最简单的线性回归问题，，我们假设其损失函数那么梯度下降的基本形式就是。其中，为学习率(learning_rate)。我们来看看是什么样子的。，其中，，所以可得。常用的梯度下降法包括随机梯度下降法(SGD)...原创 2018-10-20 21:59:56 · 821 阅读 · 3 评论