Sklearn,xgboost机器学习多分类实验

最新推荐文章于 2024-11-21 17:21:09 发布
原创 最新推荐文章于 2024-11-21 17:21:09 发布 · 8.3k 阅读 · 9 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器学习 #sklearn #xgboost #卡方检验 #多分类

本文介绍了一个基于复旦大学中文文本分类语料的多分类实验，利用sklearn和xgboost进行预处理、特征工程和分类。实验包括jieba分词、字典生成、idf计算、TF-IDF、libsvm数据格式生成以及多种分类器（如xgboost）的5折交叉验证。特征工程部分涉及卡方检验。

一. 背景

多分类是一个机器学习的常见任务，本文将基于复旦大学中文文本分类语料，使用sklearn和xgboost来进行多分类实验。

预装软件包：
1. Jieba分词：

环境： linux fedora 23 

源码安装https://github.com/fxsjy/jieba, 或者使用pipinstall jieba安装

2. Sklearn： 

fedora 下参考：http://www.centoscn.com/image-text/install/2014/0403/2715.html

3.xgboost:

https://github.com/dmlc/xgboost.git

安装好后进入到python-package：pythonsetup.py install

 

二. LCCT代码和数据集

1.代码

 LCCT  (Learning to Classify Chinese Text)

                   git  clone https://github.com/jaylenzhang/lcct.git

2.数据集

由复旦大学李荣陆提供。fudan_test.json为测试语料，共9833篇文档；fudan_train.json为训练语料，共9804篇文档，分为20个类别。训练语料和测试语料基本按照1:1的比例来划分。本文将训练和测试数据混合一起进行5折交叉验证。收集工作花费了不少人力和物力，所以请大家在使用时尽量注明来源（复旦大学计算机信息与技术系国际数据库中心自然语言处理小组）

百度云： http://pan.baidu.com/s/1qYjk0Ni密码：dhs7

下载数据集后，在当前目录下创建data目录，并将文件解压。

数据集类别统计

类别

数据量

Economy

3200

Computer

2714
最低0.47元/天 解锁文章
机器学习笔记-XGBoost
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
08-01 6807
XGBoost是2016年由华盛顿大学陈天奇老师带领开发的一个可扩展机器学习系统。严格意义上讲XGBoost并不是一种模型，而是一个可供用户轻松解决分类、回归或排序问题的软件包。它内部实现了梯度提升树(GBDT)模型，并对模型中的算法进行了诸多优化，在取得高精度的同时又保持了极快的速度，在一段时间内成为了国内外数据挖掘、机器学习领域中的大规模杀伤性武器。更重要的是，XGBoost在系统优化和机器学习原理方面都进行了深入的考虑。
【python】基于nc数据文件实现XGBoost的多分类
weixin_48618536的博客
06-02 653
XGBoost (Extreme Gradient Boosting)是一种基于梯度提升决策树的机器学习算法。它是一种高效、灵活和可扩展的技术，而且在许多机器学习竞赛中都表现出色。该算法的主要思想是通过构建多个决策树模型来逐步改进预测结果，每一次迭代都会针对之前模型预测错误的部分进行改进。XGBoost 使用正则化技术避免过拟合，并支持并行计算加速训练过程。此外，它还提供了特征重要性评估、缺失值处理、交叉验证等功能。
python Sklearn实现xgboost的二分类和多分类
ping550的专栏
04-10 1万+
二分类：train2.txt的格式如下：import numpy as np import pandas as pd import sklearn from sklearn.cross_validation import train_test_split,cross_val_score from xgboost.sklearn import XGBClassifier from sklearn.m...
XGBoost与Lightgbm
chenguiyuan1234的博客
02-25 626
本文参考自https://cloud.tencent.com/developer/article/1389899 https://cloud.tencent.com/developer/article/1052678 https://cloud.tencent.com/developer/article/1052664 XGBoost 1、重要参数详解 booster[default=gbtree...
XGBoost多分类预测
Amy9_Miss的博客
02-18 5213
XGBoost多分类预测 1. 数据预处理 对缺失值进行填充 根据业务增加衍生变量，比如占比、分级化、TOP打横等等 根据业务删除相应的指标 对离散型的指标进行one-hot序列编码 2. 模型选择 可以进行多分类预测的模型有逻辑回归、决策树、神经网络、随机森林、xgboost，发现效果排名靠前的依次是XGBoost、随机森林、决策树 3. 模型调用 通过调用python相关包，对XGBo...
XGBoost解决多分类问题
木东的博客
11-30 1万+
XGBoost解决多分类问题 写在前面的话     XGBoost官方给的二分类问题的例子是区别蘑菇有无毒，数据集和代码都可以在xgboost中的demo文件夹对应找到，我是用的Anaconda安装的XGBoost，实现起来比较容易。唯一的梗就是在终端中运行所给命令：  ../../xgboost mushroom.conf 时会报错，是路径设置的问题，所以我干脆把xgboost文
python+sklearn之机器学习多元化分类
weixin_45081640的博客
06-21 445
多元分类 通过多个二元分类器解决多元分类问题. 特征1 特征2 ==> 所属类别 4 7 ==> A 3.5 8 ==> A 1.2 1.9 ==> B 5.4 2.2 ==> C 若拿到一组新的样本, 可以基于二元逻辑分类训练出一个模型, 判断属于A类别的概率. 再基于同样的方法训练处两个模型,分别判断属于B类别/ 属于C类别的概率, 最终选择概率最高的作为新样本的分类结果. 案例: """ 多元逻辑分类 """ import numpy
【机器学习】XGBoost: 强化学习与梯度提升的杰作
鑫宝的博客
06-07 2360
XGBoost是一种基于梯度提升框架的优化工具，它通过迭代地添加决策树以逐步降低预测误差。相较于传统的梯度提升机（GBM），XGBoost在计算效率、并行处理能力和模型灵活性上进行了显著的优化，从而在分类和回归任务中展现出更强大的性能。XGBoost凭借其高效、灵活和强大的预测能力，在机器学习领域占据了一席之地。随着算法的不断优化和应用场景的拓展，掌握XGBoost的原理与应用，无疑将为数据科学家和工程师们提供更强大的工具箱。
机器学习基于多模型的土地利用分类系统构建：遥感数据特征工程与类别不平衡处理方法研究
最新发布
10-08
适合人群：具备一定Python编程基础和机器学习理论知识的数据科学从业者或研究人员，熟悉pandas、sklearn、xgboost、tensorflow等常用库；适合从事遥感、地理信息系统（GIS）或环境监测相关工作的技术人员；; 使用...
机器学习 Sklearn Day2
birdooo的博客
02-21 1306
随机森林 1 概述 1.1 集成算法概述 集成学习（ensemblelearning）是时下非常流行的机器学习算法，它本身不是一个单独的机器学习算法，而是通过在数据上构建多个模型，集成所有模型的建模结果。基本上所有的机器学习领域都可以看到集成学习的身影，在现实中集成学习也有相当大的作用，它可以用来做市场营销模拟的建模，统计客户来源，保留和流失，也可用来预测疾病的风险和病患者的易感性。在现在的各种算法竞赛中，随机森林，梯度提升树（GBDT），Xgboost等集成算法的身影也随处可见，可见其效果之好.
实验：SVM实现多分类
2201_75467743的博客
11-21 3689
该数据集包含150条记录，每条记录有4个特征（萼片长度、萼片宽度、花瓣长度、花瓣宽度），属于3个类别之一（Setosa、Versicolor、Virginica），是一个典型的多分类数据集。SVM是一种强大的分类方法，尤其擅长处理高维数据，能够通过选择不同的核函数灵活地应对不同类型的数据。（2）数据预处理的影响：SVM对数据的预处理非常敏感，特征的标准化和归一化对于模型的效果有显著影响。SVM的性能受参数影响很大，尤其是C（惩罚参数）和gamma（核函数参数，尤其是对于RBF核）。
xgboost 多分类：objective参数（reg:linear,multi:softmax,multi:softprob）对比分析
lizz2276的博客
05-23 5652
一、问题 上篇文章中我们已经搞明白了逻辑回归的问题中，xgboost的train（）,fit（）方法以及不同参数的objective的对应的输出结果和关系，这篇文章我们就来研究下xgboost再做多分类时，train(),fit（）建模后输出的值是怎么样的，它都有那些objective的参数，并且分别对应着怎样的输出？ 二、objective参数比较 xgboost的官方文档关于多分类的objective如下： 从文档中我们可以看出，multi：softmax是使用softmax后产生的分类结果，而
XGBOOST从原理到实战：二分类 、多分类
lizz2276的博客
05-23 7669
注：转载请注明出处，https://blog.youkuaiyun.com/HHTNAN/ 1.XGBoost 2. XGBoost的优点 2.1 正则化 2.2 并行处理 2.3 灵活性 2.4 缺失值处理 2.5 剪枝 2.6 内置交叉验证 3. XGBoost详解 3.1 数据格式 3.2 参数设置 4.模型的训练、预测、保存 4.1 训练模型 4.2模型预测 4.3 保存与加载模型 4.4导出模型和特征映射（Map） 5. XGBoost参数说明 5.1 General Parameters 5.2 Para
实战 |利用机器学习实现一个多分类任务
weixin_43434202的博客
07-17 3032
对于机器学习而言，如果你已经大致了解了相关算法的原理、理论推导，你也不是大家口中刚入门的小白了。接下来你需要将自己所学的知识利用起来，最好的方式应该就是独立完成几个项目实战，项目难度入门级即可，因为重点是帮助你了解一个项目的流程，比如缺失值和异常值的处理、特征降维、变量转换等等。 Kaggle毋庸置疑是一个很好的平台，里面的泰坦尼克号、房屋价格预测、手写数字都是非常非常经典的入门实战项目，如果你独立完成这三个项目后感觉可以提升一下难度，就可以继续在Playground中寻找适合自己的项目。但如果你感觉还需要
机器学习之XGBoost分类器XGBClassifier-- xgb使用sklearn接口
热门推荐
muli
12-04 1万+
机器学习之XGBoost分类器XGBClassifier # -*- coding: utf-8 -*- """ Created on Tue Dec 4 20:48:14 2018 @author: muli """ ''' xgb使用sklearn接口(推荐)--官方: 会改变的函数名是： eta -> learning_rate lambda ...
【XGBoost 多分类】XGBoost解决多分类问题
赖德发的博客
03-18 1万+
下面将以一个例子来讲解 XGBoost 解决多分类问题。 1、下载数据集，数据集我们采用小麦种子数据集，该数据集有3类，已知小麦种子包含 7个特征，分别为面积，周长，紧凑度，仔粒长度，仔粒宽度，不对称系数，仔粒腹沟长度，小麦类别为1,2，3 linux --下载数据集： wget https://archive.ics.uci.edu/ml/machine-learning-databases/0...
xgboost文本分类
qq_34438672的博客
04-16 1301
转载：：https://blog.youkuaiyun.com/liuchonge/article/details/72614524
中文自然语言处理--基于朴素贝叶斯的中文短文本分类
糯米君的博客
03-16 743
朴素贝叶斯分类大致介绍： 它是一种十分简单的分类算法，叫它朴素贝叶斯分类是因为这种方法的思想真的很朴素，朴素贝叶斯的思想基础是这样的：对于给出的待分类项，求解在此项出现的条件下各个类别出现的概率，哪个最大，就认为此待分类项属于哪个类别。通俗来说，就好比这么个道理，你在街上看到一个黑人，我问你你猜这哥们哪里来的，你十有八九猜非洲。为什么呢？因为黑人中非洲人的比率最高，当然人家也可能是美洲人或亚洲人，但在没有其它可用信息下，我们会选择条件概率最大的类别，这就是朴素贝叶斯的思想基础。 具体步骤： 这里用朴素贝叶
xgboost机器学习
03-08
### XGBoost 在机器学习中的使用方法 #### 安装方式 为了开始使用 XGBoost，在 Python 环境下可以通过两种主要的方式来进行安装[^2]: ```bash pip3 install xgboost ``` 或者 ```bash pip install xgboost ``` #### 构建分类模型实例 以糖尿病预测为例，展示了如何利用 XGBoost 来创建一个二元分类器。在这个过程中，通过设置特定参数来提升模型的表现力。 定义并配置 `XGBClassifier` 类作为分类模型的一部分，其中包含了几个重要的超参数设定： - **objective**: 设定目标函数为 `'binary:logistic'` 表明这是一个用于解决二类问题的逻辑回归损失函数。 - **learning_rate (eta)**: 控制每次迭代的学习速率，默认值通常设得较小比如 0.1 或更少。 - **max_depth**: 决定了树的最大深度，这影响着模型复杂度以及过拟合的风险；这里选择了相对保守的数值 3。 - **n_estimators**: 指的是弱学习者的数量即决策树的数量，本例中设置了 100 棵树。 - **random_state**: 设置随机种子确保实验可重复性。 以下是具体的实现代码片段： ```python import xgboost as xgb from sklearn.metrics import accuracy_score, classification_report model = xgb.XGBClassifier( objective='binary:logistic', learning_rate=0.1, max_depth=3, n_estimators=100, random_state=42 ) # 假设有已经划分好的训练集和测试集数据 X_train, y_train 和 X_test, y_test model.fit(X_train, y_train) y_pred = model.predict(X_test) ``` 完成上述操作之后就可以调用 Scikit-Learn 提供的相关工具对模型的效果做出评价，例如计算准确率或是生成详细的分类报告等。 #### 处理缺失值的能力 值得注意的是，XGBoost 被精心设计用来应对含有大量零值或完全空白的数据集——也就是所谓的稀疏矩阵情况。这意味着即使输入特征存在未观测到的部分也不会妨碍算法正常工作，因为其内部机制会自动考虑这些特殊情况而无需额外预处理步骤[^3]。 ### 应用场景扩展 除了医疗健康领域内的疾病诊断外，XGBoost 还广泛适用于其他众多行业如金融风控、广告推荐系统等领域内涉及大规模数据分析的任务当中。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值