Y学习使我快乐V-优快云博客

原创 Lightgbm基本原理介绍

一、前言最近在做Kaggle比赛的时候，看到别人的Kenels中都用到了lightgbm，自己也试图用了一下，发现效果很好，最重要的是它相对于XGBoost算法，大大的降低了运行的速度。所以就对Lightgbm的原理探了个究竟，这里就对Lightgbm论文的理解以及对官网上对Lightgbm的介绍做一个学习笔记。传统的boosting算法（如GBDT和XGBoost）已经有相当好的效率，...

2018-09-22 22:52:58 79995 4

原创期望最大化（Expectation Maximization）算法介绍

一. 前言期望最大化（Expectation Maximization）算法（EM算法）在实际的应用中受到的关注不是特别的重，但是在学术中EM算法是其它很多算法的基础，如隐马尔科夫算法（HMM），LDA主题模型的变分推断等等。所以，理解EM算法对其它算法的学习还是很重要的。本文是对期望最大化算法（EM算法）做一个总结。概率模型有时既含有观测变量，又含有隐变量。如果概率模型的变量都是观测变量...

2018-09-04 21:00:50 10601 2

原创谱聚类（Spectral Clustering）算法介绍

一. 前言本来想写关于聚类系列算法的介绍，但是聚类系列的其它几个算法原理比较简单，网上有大量的教程可以查阅。这里主要是介绍一下谱聚类算法，做一个学习笔记，同时也希望对想要了解该算法的朋友有一个帮助。关于聚类的其他系列算法，这里推荐一个写的很不错的博客。谱聚类在最近几年变得受欢迎起来，主要原因就是它实现简单，聚类效果经常优于传统的聚类算法（如K-Means算法）。刚开始学习谱聚类的时候，给人...

2018-09-03 10:54:01 69706 18

原创随机森林基本原理与算法描述

一. 前言在前几篇博文中我们介绍了boosting系列的几个主要算法GBDT、AdaBoost和XGboost的基本原理与算法描述。本篇博文将介绍集成学习的另一大分支bagging方法的代表算法随机森林（Random Forest）算法。bagging系列的算法原理相较于boosting系列的算法要简单不少。bagging方法各个子树并行的生成，而不像boosting系列算法，下一棵子树的...

2018-08-27 23:17:49 22703 3

原创决策树算法介绍

一. 前言本篇博文主要对决策树算法做一个总结。主要内容包括，ID3算法和C4.5算法的简单介绍、CART算法的重点介绍和决策树是如何剪枝的，以及决策树的优缺点和决策树在sklearn中使用的一些技巧。决策树是一种基本的分类与回归方法。它的预测结果容易理解，易于向业务部门解释，预测速度快，可以处理类别型（离散型）数据和数值型（连续型）数据。决策树学习通常包括3个步骤：特征选择、决策树的生成和...

2018-08-27 16:28:06 18712 1

原创 GBDT基本原理及算法描述

一. 前言在AdaBoost基本原理与算法描述中，我们介绍了AdaBoost的基本原理，本篇博客将介绍boosting系列算法中的另一个代表算法GBDT（Gradient Boosting Decision Tree，梯度提升树）算法。这里对GBDT的学习做一个总结，也希望对有帮助的同学能有一个帮助。在介绍AdaBoost的时候我们讲到了，AdaBoost算法是模型为加法模型，损失函数为指...

2018-08-25 13:16:21 55097 10

原创 AdaBoost基本原理与算法描述

一. 前言最近在看集成学习方法，前面已经对XGBoost的原理与简单实践做了介绍，这次对AdaBoost算法做个学习笔记，来巩固自己所学的知识，同时也希望对需要帮助的人有所帮助。关于集成学习主要有两大分支，一种是bagging方法，一种是boosting方法。bagging方法的弱学习器之间没有依赖关系，各个学习器可以并行生成，最终通过某种策略进行集成得到强学习器（比如回归问题用所有弱...

2018-08-21 19:59:33 26484 2

原创 XGBoost Python实战

一. 前言在XGBoost基本原理博文中我们介绍了XGBoost的基本原理，本篇博文我们将介绍XGBoost的基本使用方法，作为新手的学习参考。本文使用kaggle上的泰坦尼克数据集，只是对XGBoost的使用做一个简单的描述，若想知道Kaggle的整个竞赛流程以及在竞赛中如何使用XGBoost进行预测的话，关注本博客，以后会陆续推出与竞赛内容相关的博客及代码。kaggle的泰坦尼克的数...

2018-08-20 12:27:37 14373 2

原创 XGBoost的基本原理

XGBoost原理与实践

2018-08-18 15:15:23 32676 2

Y学习使我快乐V的博客