2017.07.20回顾 xgboost安装 xgboost抄作业

最新推荐文章于 2025-06-18 15:59:45 发布
原创 最新推荐文章于 2025-06-18 15:59:45 发布 · 416 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文记录了作者安装xgboost的过程，包括遇到的困难和解决方法，如conda安装失败后手动安装，以及xgboost在DMatrix格式上的应用。此外，还分享了在抄作业过程中学习到的新知识，如内存资源回收、数据框操作和数据描述统计。

1、上午主要就做rts的逻辑，稍微改了一下PTI的限制逻辑，然后编辑邮件，差不多时间进行提交

2、在这中间处理了一个老客户的问题，处理了live_time和work_time疑似BUG的问题，和新人讨论了一些最新的分析结果，其中我对非参检验和参数检验还不是很清楚，需要下来学习，老实说卡方检验的原理，我也只看过一半，应用点到是知道，她新提到的KS检验，我基本不了解

3、今天剩余时间主要就是抄作业啦，抄作业的其中一个难点就是xgboost的安装，我最后的安装方法应该是最无脑的，只是开始还是走了一些弯路，我一开始就想用conda安装，直接conda install xgboost，提示我没有这个包，但给出了提示，一个r-xgboost，另一个是py-xgboost，我于是很自然的就conda install py-xgboost，安装过程提示需要大量依赖，很多module需要升级，下载了很久，吃饭回来ok，conda cmd进入python shell，import xgboost成功，但是发现在notebook却报错，后来就一直是解决这个问题，按照报错信息进行了一些路径方面的探索，发现dll是存在的，但是不知道为何导入失败，有人表示缺乏一个VC的依赖，于是我在微软官网下载了VC2015的运行库，发现依然报错，spyder也报错，但是conda python shell却没有问题，我很苦恼，求助了很多人，准备尝试编译安装，但是这个时候发现了一个stackoverflow的回答，https://stackoverflow.com/questions/35139108/how-to-install-xgboost-in-anaconda-python-windows-platform，我首先用conda remove py-xgboost，然后


                

        

    


  


        

            

                      
                        最低0.47元/天 解锁文章
                          
                      
            

        


    



                



	

		

			

				
					
数据结构大作业之随机森林与XGBoost训练与调参

				
			

			

				

					ChangeW fafa的博客
				

				

					06-28
					
					1079
					
				

			

		

		

			
				
做什么：
模型训练；
调参训练；
训练，优化得到预测模型

首先基础内容：

课程链接
基本原理认识
基础概念知识：
（1）交叉验证
（2）随机森林，XGBoost，调参+学习曲线/网格搜索+解读调参结果和过程


课程基础：
sklearn：开源的基于python语言的机器学习工具包，几乎涵盖了大部分主流机器学习算法
随机森林：集成算法中的装袋法：一次性建立多个若评估器
Xgboost：集成算法中提升法的代表算法：梯度提升树

树模型：分类树，回归树
XGB：每个叶子结点上会有一个预测分数，也被称为叶子权

			
		

	



                

            
              



	

		

			

				
					
评分卡模型构建(含泪总结精华!!)

				
			

			

				

					weixin_43737594的博客
				

				

					09-24
					
					6220
					
				

			

		

		

			
				
五 评分卡模型构建

学习目标


	掌握KS值的计算方法
	
	
	知道评分映射方法
	
	
	知道XGBoost和LightGBM基本原理
	
	
	掌握使用lightGBM进行特征筛选的方法
	
	
	应用toad构建评分卡模型
	
1 模型构建流程

1.1 实验设计


	新的模型能上线一定要比原有方案有提升，需要通过实验证明

	冷启动
				业务初期
				成长期
				波动期
				策略调整
				新增数据源
			人工审核
				人工审核
				新旧模型对比
				新旧模型

			
		

	



              


  
              

                


	

		

			

				
					
在Anaconda中安装xgboost（简单高效）

				
			

			

				

					m0_62881487的博客
				

				

					09-22
					
					6575
					
				

			

		

		

			
				
1. 前提条件：windows环境下，anaconda（这里指的是Anaconda3）已安装，相应的numpy和sicpy也已安装。如果未安装需要先安装这两个库。2. 输入以下命令，用清华镜像。包从这里下载，速度比较快；否则，默认国外的镜像，下载速度慢，会导致安装失败。

			
		

	





	

		

			

				
					
Anaconda安装XGBoost(pip install)

				
			

			

				

					csdnypp的博客
				

				

					08-24
					
					4947
					
				

			

		

		

			
				
Anaconda安装XGBoost

			
		

	



		

			
		



	

		

			

				
					
Anaconda安装xgboost

				
			

			

				

					qq_27931977的博客
				

				

					05-14
					
					1896
					
				

			

		

		

			
				
conda install -c anaconda py-xgboost




			
		

	





	

		

			

				
					
Installing Xgboost for Anaconda on Windows

				
			

			

				

					奔跑在路上的专栏
				

				

					11-26
					
					7552
					
				

			

		

		

			
				
在Window7上为Anaconda安装Xgboost这两天在window7 64位上折腾了一下xgboost的安装，费了好大的劲，最终安装成功了，也算是没有白费力。(O_O)先上的效果： 
准备工作在window上安装xgboost需要以下一些软件的支持：
Python的环境，我选择的是Anaconda发行版(这个版本为安装各种第三方package提供了极大的方便，还有方便的Jupyter not

			
		

	





	

		

			

				
					
Fintech前沿技术周报【2017-1-17】

				
			

			

				

					CristianoJason的博客
				

				

					01-17
					
					1292
					
				

			

		

		

			
				
本文为关于过去两周 人工智能 和 机器学习 领域的最新动态回顾
Master 事件
CES 2017
[论文分享] Segmental Recurrent Neural Networks
开源 | LightGBM：三天内收获GitHub 1000+ 星
业界 | 日本保险公司引入IBM Watson，这次人工智能代替了34名白领
学界 | MIT将生物学机制引入神经网络，新模型或揭开抑制神经元功能

			
		

	





	

		

			

				
					
7集成学习评分卡

				
			

			

				

					weixin_34280060的博客
				

				

					05-15
					
					573
					
				

			

		

		

			
				
梯度提升最强大的特性之一是它适用于各种各样的损失函数。这意味着我们也可以设计自己的、更加适用于某一特定问题的损失函数来处理我们的数据集和任务的特定属性。某些情况下我们可能需要高召回率（更少的假阴性，在医学诊断中）或高精准率（更少的假阳性，例如，在垃圾邮件检测中），而不是高准确率。在许多此类场景中，通常需要自定义损失函数。

			
		

	





	

		

			

				
					
33、可解释AI在入侵预防与自动驾驶目标跟踪中的应用

					
最新发布

				
			

			

				

					l1k9j8h7g6的博客
				

				

					06-18
					
					39
					
				

			

		

		

			
				
本文探讨了可解释AI在入侵预防和自动驾驶领域中的应用。在入侵预防部分，详细分析了系统架构、面临的挑战、数据集的重要性以及不同XAI技术的准确性比较，并展望了未来的发展方向。在自动驾驶部分，提出了一种基于相机-LiDAR传感器融合的3D多目标跟踪框架，通过多级别关联技术提高了跟踪的准确性和可靠性，同时与其他方法进行了对比并指出了未来改进的方向。文章总结了两个领域的关键要点，为相关研究提供了理论支持和技术参考。

			
		

	





	

		

			

				
					
anaconda 安装xgboost

				
			

			

				

					skysys的研究小屋
				

				

					07-19
					
					675
					
				

			

		

		

			
				
conda install -c anaconda py-xgboost




			
		

	





	

		

			

				
					
Anaconda中安装xgboost的方法

				
			

			

				

					yuekangwei的博客
				

				

					01-25
					
					2050
					
				

			

		

		

			
				
1.打开Anaconda Prompt
2.输入命令：
`pip install xgboost -i https://pypi.tuna.tsinghua.edu.cn/simple`

注：如果是给pytorch或者是给tensorflow安装xgboost，就先输入activate pytorch 进入pytorch或者tensorflow环境中，再安装。



			
		

	





	

		

			

				
					
pip/anaconda安装xgboost库

				
			

			

				

					小白tree的博客
				

				

					08-31
					
					1万+
					
				

			

		

		

			
				
打开 Anaconda prompt
输入：
conda install -c anaconda py-xgboost
即可



			
		

	





	

		

			

				
					
Anaconda 下安装xgboost的最简单最快速方法

				
			

			

				

					一枚风雨流苏的博客
				

				

					08-24
					
					1万+
					
				

			

		

		

			
				
**
标题
Anaconda 下安装xgboost的最简单最快速方法##
**
tips：xgboost安装的最佳方法
笔者曾苦恼于xgboost的安装，各种失败，然后花了一整天去网上搜，阅读过上百篇博客，复杂的安装方法很多，简单的又不可行，终于皇天不负有心人让我找到了这个方法。
前提条件： windows环境下，anaconda（这里指的是Anaconda3）已安装
步骤：
输入命令即KO：
pip install xgboost -i https://pypi.tuna.tsinghua.edu.cn/

			
		

	





	

		

			

				
					
Anaconda：包安装以XGBoost为例

					
热门推荐

				
			

			

				

					去向前方的博客
				

				

					06-08
					
					3万+
					
				

			

		

		

			
				
目录:



前言
正文
高级指令





前言


  anaconda指的是一个开源的Python发行版本，其包含了conda、Python等180多个科学包及其依赖项


Anaconda是个非常方便同时功能强大的python环境管理工具，本篇blog主讲如何利用anaconda安装一些pip安装麻烦的包，比如XGBoost。

正文

标准语法： 
conda install pack_...

			
		

	





	

		

			

				
					
anaconda 的 xgboost 安装问题

				
			

			

				

					
				

				

					12-17
					
					745
					
				

			

		

		

			
				
这个例子中，我们首先创建了一个简单的数据集，然后将其转换为 DMatrix 格式。接着，我们定义了模型的参数（学习率、树的深度以及目标函数），并将这些参数和 DMatrix 输入到 `xgb.train()` 函数中训练模型。然后，我们将其分割成训练集和测试集，将数据转换为 DMatrix 格式并使用 XGBoost 训练一个模型。最后，我们使用模型进行预测，将预测结果转换为二进制标签并计算准确率。安装完成后，可以通过输入 `conda --version` 来检查 Anaconda 的版本。

			
		

	





	

		

			

				
					
xgboost关于python(anaconda)最简安装（*unix,win）

				
			

			

				

					YouAreLion的博客
				

				

					12-29
					
					569
					
				

			

		

		

			
				
1、*unix: 
pip install xgboost  
or 
 anaconda search -t conda xgboost 
conda install py-xgboost ，conda install -c aterrel xgboost , …2、windows: 
conda install conda install -c mndrake xgboost 
orgit cl

			
		

	





	

		

			

				
					
Anaconda3安装xgboost的解决办法

				
			

			

				

					weixin_44034053的博客
				

				

					08-22
					
					1680
					
				

			

		

		

			
				
错误的安装方式
如果通过conda pip install xgboost的方式来安装，那你就入坑了，正确的安装方式如下
下载whl文件
在whl文件找到xgboost的和电脑匹配的whl文件。我的Anaconda默认的python版本是3.5，电脑是64位，故以下是我下载的whl

下载完毕之后，将其存在任意一个目录下，我放在D盘的根目录下。
进入命令行
进入命令行，并切换到Anaconda3的...

			
		

	





	

		

			

				
					
如何在Python上安装xgboost？

				
			

			

				

					cda2024的博客
				

				

					01-07
					
					1278
					
				

			

		

		

			
				
在数据科学和机器学习领域，XGBoost无疑是一款备受推崇的算法工具。它以其高效、灵活和精确的特点，成为了众多数据科学家和工程师的首选。然而，对于初学者来说，如何在Python环境中成功安装XGBoost可能会成为一个挑战。本文将详细指导你在Python上安装XGBoost的过程，帮助你快速上手这一强大的机器学习工具。

			
		

	





	

		

			

				
					
XGB-1：XGBoost安装及快速上手

				
			

			

				

					uncle_ll的博客
				

				

					02-02
					
					4649
					
				

			

		

		

			
				
xgboost安装及快速上手

			
		

	





	

		

			

				
					
帮我根据train_cic_xg.py的代码修改一下xgboost_model的代码。可能是保存模型那方面吧。

				
			

			

				

					04-26
				

			

		

		

			
				
<think>好的，我现在需要帮助用户修改xgboost_model.py的代码，以便适配train_cic_xg.py中的模型保存功能。首先，我需要理解这两个文件的关系以及现有的实现差异。用户提到要确保模型保存功能一致，所以重点应该在于比较两个脚本中保存模型的部分，并调整xgboost_model.py以匹配train_cic_xg.py的做法。

首先，我应该查看train_cic_xg.py是如何保存模型的。通常，XGBoost模型保存有两种方式：使用内置的save_model方法或者使用Python的pickle模块。如果train_cic_xg.py使用的是save_model，那么在xgboost_model.py中可能需要调用model.save_model()，并确保路径和文件名格式一致。如果用的是pickle，那么可能需要导入joblib或pickle库，将模型对象序列化保存。

接下来，假设在train_cic_xg.py中，模型保存的代码可能是这样的：
```python
model.save_model(f'model_cic_{timestamp}.xgb')
```
或者
```python
import joblib
joblib.dump(model, f'model_cic_{timestamp}.pkl')
```
那么，用户需要将xgboost_model.py中的保存方式调整为同样的方法。同时，可能还需要处理时间戳的生成方式，确保文件名格式统一。例如，如果train_cic_xg.py使用特定格式的时间戳，如"%Y%m%d%H%M"，那么xgboost_model.py也应该采用相同的格式。

此外，还要注意模型保存后的路径问题。两个脚本是否将模型保存在同一目录下？比如，是否都保存在./models/目录中，或者当前工作目录。如果路径不同，需要调整xgboost_model.py中的保存路径，以匹配train脚本的结构。

另外，可能还需要检查模型训练后的处理步骤。例如，在train_cic_xg.py中，是否在训练后立即保存，或者在验证之后保存最佳模型？如果使用了早停法（early stopping），可能需要保存最佳迭代的模型，这时需要确保xgboost_model.py中也使用相同的回调函数或参数，如xgb.callback.EarlyStopping，并在训练时保存最佳模型。

还有，模型的版本控制或命名规则是否一致？比如，文件名中是否包含数据集名称、日期、超参数等信息。如果train_cic_xg.py中有特定的命名规则，那么xgboost_model.py也需要遵循同样的规则，以便于后续管理和调用。

最后，测试修改后的代码是否能够正确保存模型，并且生成的文件与train脚本产生的文件格式和位置一致。可以编写一个简单的测试用例，训练模型后保存，并检查文件是否存在，以及能否成功加载并进行预测。

总结下来，关键步骤包括：
1. 确定train_cic_xg.py使用的模型保存方法（save_model或pickle/joblib）。
2. 调整xgboost_model.py中的保存代码，使用相同的方法和参数。
3. 统一文件名格式和保存路径。
4. 确保训练后的处理逻辑一致，如早停法后的最佳模型保存。
5. 测试验证修改后的代码是否正常工作。

如果在调整过程中发现train_cic_xg.py有其他相关的配置，比如日志记录、模型验证指标记录等，可能也需要在xgboost_model.py中添加相应的逻辑，保证整体流程的一致性。需要用户提供两个脚本的相关代码片段，以便更准确地定位差异，但基于现有信息，以上步骤是必要的。</think>根据train_cic_xg.py的模型保存实现，需在xgboost_model.py中做以下关键修改：

1. **统一保存方法**  
在训练函数末尾添加模型保存逻辑，使用XGBoost内置的save_model方法：
```python
import time
from pathlib import Path

def train_model(...):
    ...
    model = xgb.train(params, dtrain)
    
    # 创建模型保存目录
    Path("./saved_models").mkdir(exist_ok=True)
    
    # 生成带时间戳的文件名
    timestamp = time.strftime("%Y%m%d_%H%M%S")
    model_path = f"./saved_models/xgboost_model_{timestamp}.json"
    
    # 保存模型文件
    model.save_model(model_path)
    print(f"Model saved to {model_path}")
```

2. **格式一致性验证**  
确保与train_cic_xg.py保持三个一致：
- **文件格式**：使用JSON格式保存（`.json`扩展名）
- **目录结构**：统一保存在`saved_models`子目录
- **时间格式**：采用年月日_时分秒格式`%Y%m%d_%H%M%S`

3. **版本控制增强建议**  
可添加git commit hash增强可追溯性：
```python
import subprocess

def get_git_commit():
    try:
        return subprocess.check_output(
            ['git', 'rev-parse', '--short', 'HEAD']).decode('utf-8').strip()
    except:
        return "nogit"
        
# 在保存路径中添加commit hash
commit_hash = get_git_commit()
model_path = f"./saved_models/xgboost_{commit_hash}_{timestamp}.json"
```

4. **完整代码示例**  
参考train_cic_xg.py实现的完整训练流程：
```python
import xgboost as xgb
from sklearn.metrics import accuracy_score

def xgboost_train(X_train, y_train, X_val, y_val):
    dtrain = xgb.DMatrix(X_train, label=y_train)
    dval = xgb.DMatrix(X_val, label=y_val)
    
    params = {
        'objective': 'binary:logistic',
        'eval_metric': 'logloss',
        'max_depth': 6,
        'eta': 0.1
    }
    
    model = xgb.train(
        params,
        dtrain,
        num_boost_round=100,
        early_stopping_rounds=10,
        evals=[(dval, 'eval')]
    )
    
    # 模型保存逻辑
    Path("./saved_models").mkdir(exist_ok=True)
    timestamp = time.strftime("%Y%m%d_%H%M%S")
    model_path = f"./saved_models/model_{timestamp}.json"
    model.save_model(model_path)
    
    return model, model_path
```

5. **验证加载测试**  
添加模型加载验证函数确保兼容性：
```python
def load_and_test(model_path, X_test):
    loaded_model = xgb.Booster()
    loaded_model.load_model(model_path)
    dtest = xgb.DMatrix(X_test)
    return loaded_model.predict(dtest)
```

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

  

	
    

      

      

      

        
        

          
          

            

              成就一亿技术人!
            

            

              拼手气红包6.0元
            

          

        

        

          

            还能输入1000个字符
          

          

             
          

          

            

              红包
              添加红包
            

            

              表情包
              插入表情
              

                

              

            

            

              表情包
              代码片
              

                
              

            

            

              
              
              
              
              
              
              
            

          

        

      

    

		

			

			

			

					 条评论被折叠 查看
			

			

				
			

		

	

	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值