机器学习笔记1_LightGBM算法实践

一、LightGBM是什么

LightGBM，英文全称Light Gradient Boosting Machine，本质上与xgboost一样，都是GBDT的算法实现。

那么，什么是GBDT呢？
英文全称是Gradient Boosting Decision Tree，本质上是一种Boosting算法的决策树。

那么，什么是Boosting算法呢？
Boosting算法属于集成学习的一种。首先使用初始权重从训练集中训练出一个弱学习器，根据弱学习器的学习误差率来更新样本的权重，提高之前弱学习器学习率较高的训练样本点的权重，使得这些误差率高的样本在后面的弱学习器中得到更多的重视。如此循环，直到得到指定数量的学习器，再通过结合策略进行整合，得到最终的强学习器。

那么，什么是集成学习呢？
通过构建并结合多个机器学习器来完成学习任务，首先通过训练集数据训练得到若干个个体学习器，再通过一定的结合策略，最终形成一个强学习器，达到博采众长的目的。

那么，总得来说，LightGBM是一种基于Boosting算法的集成树模型。

【背景介绍】
LightGBM是微软旗下的Distributed Machine Learning Toolkit （DMKT）的一个项目，由2014年首届阿里巴巴大数据竞赛获胜者之一柯国霖主持开发。虽然其开源时间才仅仅2个月，但是其快速高效的特点已经在数据科学竞赛中崭露头角。Allstate Claims Severity竞赛中的冠军解决方案里就使用了LightGBM，并对其大嘉赞赏。

二、LightGBM的特点

2.1 LightGBM的优势

1. 更快的训练速度和效率
2. 更低的内存使用
3. 更好的准确率
4. 支持并行化学习
5. 可以处理大规模数据