2017.08.01回顾 xgboost get_dummies 尽可能留变量

最新推荐文章于 2025-11-01 10:12:33 发布
原创 最新推荐文章于 2025-11-01 10:12:33 发布 · 1.4k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文回顾了使用xgboost进行数据建模的过程，探讨了xgboost的基分类器和参数设置，如线性分类器、dart等。在数据预处理中，通过get_dummies进行哑变量转换，降低了交叉验证的平均绝对误差。同时，发现xgboost能有效处理高度缺失值的变量。遇到的大问题是大型数据集转换为xgb.DMatrix速度过慢，考虑使用服务器或云计算平台解决。

节奏不要乱，做应该做的事情，一些不应该做的事情需要克制！

1、上午就是抓取建模变量，对变量做一些初步encode的工作，集中注意力弄了一上午，应该完成了1/3

2 、继续zillow数据建模，有几点收获：

  • xgboost的基分类器是CART，但是也可以用线性分类器，booster参数可以设置，似乎还有一个名叫dart的分类器，听朋友说是神经网络相关的
  • 整理了所有变量的预处理方法
  • 尝试了drop掉90% missing value的字段，但是在lb上效果很烂，CV好像是有所提升
  • 又尝试drop掉了一些地区类的字段，也没能提升lb的排名
  • 感觉到xgboost的这个方法根本不怕多喂他变量，不怕处理高度缺失值的变量
  • 最后我尝试把某些变量转换成哑变量，方法是直接调用pd.get_dummies方法，这个方法有参数可以控制是否转换NaN，他常用参数形如
    pd.get_dummies(df,prefix=['col1','col2'])
    后面的prefix前缀于前面的df列数相对应，如果后面prefix少一个，前面有一列就不会被dummy，这个函数返回一个dummy化的DF，添加到原raw_df可以用
    raw_df = raw_df.join(df)
    可以添加到raw_df后面
  • 添加了dummies变量后，交叉验证mae下降了，感觉有一定希望，但是xgb.DMatrix转换300万*156太慢了，跑了一个小时，那个kernel直接down掉，我发现不能用本机来跑，用本机来跑，我的工作直接会pending在那里，我需要想个办法，要不然找台服务器，要不然利用云计算平台
  • 老司机所说的保留尽可能多的特征是有道理的，可能xgboost这种算法有非常优秀的工程化实现，可以容忍各种缺失的，不完备的数据集
  • 线性相关性对于xgboost训练的影响，我实际数据集中有3个自变量高
最低0.47元/天 解锁文章
pandas.get_dummies函数：把离散信息转换成onehot矩阵
小龙在线
12-02 698
pandas.get_dummies函数用来把可以分类信息转换成0和1矩阵。
pd.get_dummies，pandas中getget_dummies的用法，python中处理离散值的方法，将文字特征转换成数字特征的方法
一起躺躺躺的博客
05-06 3936
需要用到pandas这个包，调用请提前下载 这个就是用独热编码来替换离散值特征。 例如，“MSZoning”包含值“RL”和“Rm”我们将创建两个新的指示器特征“MSZoning_RL”和“MSZoning_RM”，其值为0或1。根据独热编码，如果“MSZoning”的原始值为“RL”，则：“MSZoning_RL”为1，“MSZoning_RM”为0。 首先假如一个数据集有六个样本，每个样本两种特征，数据保存在‘111.csv’中，其中feature1是文字特征，分别为“bak” “bif” “ni
xgboost总结
qq_25992377的博客
04-10 194
参考：https://blog.csdn.net/xiu351084315/article/details/89192983 算法原理 xgboost是在gbdt的基础上做了一些优化。 gbdt是基于CART的集成算法，使用回归树，可以处理分类和回归问题，通过每轮样本训练的训练，不断减小残差，修正合适的损失函数来构建树。 xgboost在损失函数中引入了正则项，减少过拟合；将一阶导数改为二阶导数；...
xgboost学习总结
julyclj55555的博客
10-24 1037
特征处理：          缺失值处理：          哑变量处理：          附：需要处理哑变量的算法有，knn、glmnet、svm、xgboost；不需处理为哑变量的算法有，logistic regression、raprt、GBM、randomforest   一、模型参数：          在训练过程中主要用到两个方法：xgboost.train()和xgbo...
pandas___get_dummies详解
最新发布
qq_41768644的博客
11-01 928
get_dummies方法详解
xgboost中使用dump_model方法的fmap参数来修改导出模型的特征名称
爱乂乂的博客
10-28 4771
当使用xgboost的dump_model方式导出模型时，有时我们希望导出模型中的特征名与训练时训练集的特征名不一样，但是如果整个模型重新训练一遍又很麻烦，这时可以用fmap方法来指定导出模型的特征名。 def dump_model(self, fout, fmap='', with_stats=False, dump_format="text"): """ Dump model ...
kaggle @房价预测 XGBoosts 机器学习
weixin_48632275的博客
04-23 2976
1.导入各种包 import tensorflow as tf from tensorflow.keras import Sequential,layers import keras import numpy as np import pandas as pd import matplotlib.pyplot as plt import seaborn as sns from scipy.stats import norm from scipy import stats import sys 2..
[机器学习] XGBoost 中特征共线性问题
摩登都市天空---专栏
10-13 2376
I have always wondered how robust XGBoost is to correlation among independent variables. Should one check for multicollinearity before building an XGBoost model? In this post I will cover the impact of correlation on XGboost by using two datasets from Kagg
Python Pandas.get_dummies函数解析与实战教程
皓月照山川的博客
07-30 1456
从一行代码的便捷转换到生产环境中的致命陷阱，pandas.get_dummies 是数据科学家工具箱中一把锋利但需要技巧的双刃剑。本教程将带你深入其核心，规避最常见的错误，掌握性能优化的秘诀，并深度对比其与 sklearn.preprocessing.OneHotEncoder 的优劣。
pandas.Series.str.get_dummies
Stephen的博客
08-10 1631
pandas.Series.str.get_dummies拆分series中以"|"分隔的字符串，然后返回一个DataFrame对象。 Parameters: sep： str, default “|”. String to split on. Returns DataFrame. Dummy variables corresponding to values of the Series....
XGBoost建模调参-保险赔偿预测模型
WHYbeHERE的博客
07-22 3948
XGBoost实例笔记，内容为保险赔偿预测模型的建立流程，分为数据探索性分析和建模两大部分。第一部分，记录了解数据特征的各种常用方法手段，第二部分建模过车着重学习如何用XGboost进行建模和调参。
用Numpy、Scipy、pandas、Scikit-Learn、XGBoost、Tensorflow、Keras入门数据科学
04-07
用Numpy、Scipy、pandas、Scikit-Learn、XGBoost、Tensorflow、Keras入门数据科学,Data Science with Python explained.
XGboost常见特征处理及其他问题
123
05-30 4049
1. Bagging 和Boosting区别 RF,GBDT,XGBoost,lightGBM都属于集成学习（EnsembleLearning），集成学习的目的是通过结合多个基学习器的预测结果来改善基本学习器的泛化能力和鲁棒性。 （1）形式上 Bagging：基本学习器之间存在强依赖关系、必须串行生成的序列化方法； 例如：随机森林 bagging主要关注降低方差 Boosting：基本学习器间不存在强依赖关系、可同时
20200805学习笔记
mumuok的专栏
08-05 490
#背单词 #算法 ##看书CRACKING the · CODING INTERVIEW 第六章大O ###big O, big theta, and big omega ####In academia: big O describes an upper bound on the time. big omega is the equivalent concept but for lower bound. big theta means both O and omega . gives a tight bou
[译]快速上手：在R中使用XGBoost算法
weixin_33877092的博客
02-07 2365
介绍 你知道 XGBoost 算法是一种现在在数据科学竞赛的获胜方案很流行的算法吗? 那么，他比传统的随机森林和神经网络算法强在哪里呢？广义上来说，它在效率，准确性，可行性都更有优势（接下来我们将会详细讨论）。 在最近的几年中，模型预测已经变得越来越快速和准确了。我记得我曾花费数个小时在为某个模型构建特征工程上，模型却仅仅提升了几个百分点...
pandas.get_dummies （独热编码）详解
热门推荐
Xiaozhu的博客
04-24 2万+
dummiesNewData = pandas.get_dummies( newData, columns=[‘症状’], prefix=[‘症状’], prefix_sep=’_’ ) # 注意陷阱哇 在给新的观测数据进行转换时，一定要加上下面的代码 newData[‘症状’] = newData[‘症状’].astype( ‘category’, categories=data[‘症状...
xgboost 自定义评价函数（metric）与目标函数
wl_ss的博客
12-01 8809
比赛得分公式如下： 其中，P为Precision , R为 Recall。     GBDT训练基于验证集评价，此时会调用评价函数，XGBoost的best_iteration和best_score均是基于评价函数得出。 评价函数： input: preds和dvalid，即为验证集和验证集上的预测值， return  string 类型的名称 和一个flaot类型的fevale
离散型特征处理get_dummies()方法
勤劳的大乐乐的博客
05-16 1887
官方文档：https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.get_dummies.html get_dummies()：对离散型数据进行one-hot编码 离散特征的编码分为两种情况： 1、离散特征的取值之间没有大小的意义，比如color：[red,blue],那么就使用one-hot编码。 2、离散特征的取值有大...
xgboost调参实践
rover
04-14 419
xgboost调参笔记 complete-guide-parameter-tuning-xgboost github code: Parameter_Tuning_XGBoost_with_Example 中文翻译 以二分类为例，主要思路就是用网格搜索做参数调优。 数据源： 如果找不到合适的二分类数据，可以用from sklearn.datasets import make_hastie_10_2...
pd.get_dummies()的使用
09-01
get_dummies()函数用于将分类变量转换为哑变量/指示变量（dummy/indicator variables）。它常用于机器学习中的特征处理，将类别型变量转换为0/1的二进制列。 函数语法： pandas.get_dummies(data, prefix=None, ...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值