竞赛大杀器xgboost,波士顿房价预测

本文介绍了XGBoost库,它是Gradient Boosting Machine的C++实现,因效率高、预测准受关注,还被封装成Python库。文中说明了其安装、数据形式、参数设定、训练和预测方法,最后利用Kaggle的波士顿房价预测项目进行实战,展示了代码实现过程。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >


经常出入DC竞赛、kaggle、天池等大数据比赛的同学应该很了解xgboost这座大山。


几乎所有的比赛都绕不过它,可能只需要这一个库,在比赛中就可以得到很高的分数,究竟是为什么呢?那么就来窥探一下它的庐山真面目吧。



  起源


xgboost 的全称是 eXtreme Gradient Boosting。


正如其名,它是 Gradient Boosting Machine 的一个 c++ 实现,作者为曾在华盛顿大学研究机器学习的大牛陈天奇。


因为其出众的效率与较高的预测准确度在比赛论坛中引起了参赛选手的广泛关注。


为了方便大家使用,陈天奇将 xgboost 封装成了 python 库,从此作为普通人的我们也可以使用这种开挂般操作的库了。



  安装


xgb(xgboost)安装很简单,和一般的库相同:


可在ide导入验证是否安装成功




  数据形式


xgb可以接受一下格式文件:(通过xgboost.DMatrix()方法)


·LibSVM文本格式文件

·逗号分隔值(CSV)文件

·NumPy 2D阵列

·SciPy 2D稀疏阵列

·DataFrame数据框

·XGBoost二进制缓冲区文件


需要注意的是:XGBoost不支持分类功能; 如果您的数据包含分类功能,请先将其加载为NumPy阵列,然后执行onehot编码。


XGBoost无法解析带有标头的CSV文件。



  参数设定


XGBoost可以使用列表或字典来设置参数,如下所示:



 一般提前定义这些参数,训练时只需将param参数传入即可。



  训练



·param:各项参数,是一个字典

·dtrain:训练数据,由xgb.DMatrix传入

·num_round:boosting迭代计算次数

·evallist:一个列表,用于对训练过程中进行评估列表中的元素。例如:evallist = [(dtest, 'eval'), (dtrain, 'train')],用来为监视性能的验证



  预测


模型训练好之后,接下来就是预测:



这样,最简单的xgboost使用就完成啦,接下来,我们通过一个简单的案例实操一下。



  实战案例


我们利用kaggle的经典项目波士顿房价预测来进行实战。


kaggle网站波士顿房价项目链接:https://www.kaggle.com/c/boston-housing,将以下三个数据集下载好保存至文档备用。


640?wx_fmt=png


对数据进行简单的认识一下(打开train.csv):


640?wx_fmt=png


训练集包括了15列,第一列是ID,最后一列是medv(要预测的数据),因此在训练的时候将这两个属性去除。


打开测试集(test.csv):


640?wx_fmt=png


测试集包含了14列,跟训练集相比缺少了预测项medv.


代码实现


01 导入相关的库



numpy和pandas是大数据分析计算中常用的两个包,使用它们,可以满足你绝大部分的数据分析需求。


sklearn是python著名的机器学习库,它其中封装了大量的机器学习算法,内置了大量的公开数据集,并且拥有完善的文档,因此成为目前最受欢迎的机器学习学习与实践的工具。


02 打开数据 并做相关的数据处理



打开训练集和测试集的数据,去除“ID”和“medv”两个属性,然后把数据集进行拆分,训练集中70%的数据取出用于训练,30%的数据取出用于评价,最后将拆分后的数据集进行模型参数设置。


03 训练模型



04 预测



预测结果,并将结果输出。


05 查看结果

640?wx_fmt=png


关于波士顿房价预测的竞赛已经出来很长一段时间,有兴趣的同学还可以去kaggle官网上提交答案。


后台回复“房价”可直接获得数据集。


640?wx_fmt=png

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值