# -*- coding: utf-8 -*-"""Created on Fri Oct 25 09:24:15 2019@author: zxh"""import numpy as np #pandas依赖于numpyfrom sklearn.metrics import r2_score#,import pickleimport matplotlib.pyplot as pltfrom xgboost import plot_importancefrom sklearn.model.

Xgboost在各大数据挖掘比赛中是一个大杀器，往往可以取得比其他各种机器学习算法更好的效果。数据预处理，特征工程，调参对Xgboost的效果有着非常重要的影响。这里介绍一下运用xgboost的特征选择，运用xgboost的特征选择可以筛选出更加有效的特征代入Xgboost模型。这里采用的数据集来自于Kaggle | Allstate Claims Severity比赛，这里的训练集如下所示，有116个离散特征（cat1-cat116）,14个连续特征（cont1 -cont14），离散特征用字符.

目录：问题描述 数据准备 标签编码 自定义二分类 one-hot 编码问题描述一般特征可以分为两类特征，连续型和离散型特征，而离散型特征既有是数值型的，也有是类别型特征，也可以说是字符型，比如说性别，是男还是女；职业，可以是程序员，产品经理，教师等等。本文将主要介绍一些处理这种类别型特征的方法，分别来自 pandas 和 sklearn 两个常用的 python 库给出的解决方法，这些方法也并非是处理这类特征的唯一答案，通常都需要具体问题具体分析。数据准备参考文章：https:

用xgboost模型对特征重要性进行排序在这篇文章中，你将会学习到：xgboost对预测模型特征重要性排序的原理（即为什么xgboost可以对预测模型特征重要性进行排序）。 如何绘制xgboost模型得到的特征重要性条形图。 如何根据xgboost模型得到的特征重要性，在scikit-learn进行特征选择。梯度提升算法是如何计算特征重要性的？使用梯度提升算法的好处是在提升树被创建后，可以相对直接地得到每个属性的重要性得分。一般来说，重要性分数，衡量了特征在模型中的提升决策树构建中价.

在机器学习中，我们通常将原始数据按照比例分割为“测试集”和“训练集”，从 sklearn.model_selection 中调用train_test_split 函数简单用法如下：X_train,X_test, y_train, y_test =sklearn.model_selection.train_test_split(train_data,train_target,test_size=0.4, random_state=0,stratify=y_train)# train_data：所要划.

在python导包的时候有三条铁规：1. 严格区分包和文件夹。包的定义就是包含__init__.py的文件夹。如果没有__init__.py,那么就是普通的文件夹。2. 导入package。 在python 安装目录的site-package文件夹中新建xxx.pth，内容是需要导入的package所在的文件夹路径。3. 导入模块。就是一般的模块导入写法，注意只要包路径，不要文件夹路径。解决办法：1.找到你的python安装路径，我的是在 /home...

Python os.listdir() 方法https://www.runoob.com/python/os-listdir.htmlos.listdir(path) path-- 需要列出的目录路径os.listdir() 方法用于返回指定的文件夹包含的文件或文件夹的名字的列表。它不包括.和.. ，即使它在文件夹中。只支持在 Unix, Windows 下使用。Python os.path() 模块https://www.runoob.com/p...