linux下xgboost、python版本、tensorflow_GPU的一些小事情

最新推荐文章于 2025-09-13 17:25:08 发布
原创 最新推荐文章于 2025-09-13 17:25:08 发布 · 1.8k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python #linux #tensorflow #xgboost #工程问题

本文分享了Python环境下xgboost的安装经验，包括不同Python版本间的库安装区别及注意事项，并探讨了TensorFlow与GPU资源的适配问题。
部署运行你感兴趣的模型镜像
最近要搬实验室的砖，博客不怎么更新，可能到11月继续开始跟新，这次就说说最近的一些小问题

  • python版本的事情

    其实这也没啥大事，因为之前一直用anaconda所以没啥坑，最近装xgboost的时候就遇到了。

    总结一下：pip安装好像安装到python2那里去了，要在python3.5安装库啥的，用pip3；安装xgboost，运行setup.py的时候，如果要安装到python3.5，我记得用的是sudo python3 setup.py install；总之安装注意Python的版本。
    附上一个步骤链接助你安装：
    http://blog.youkuaiyun.com/tobeyourlover/article/details/53244421
    注意里面的pip/pip3，python/python3。

    下面有gpu加速资料的mark一下
    http://blog.youkuaiyun.com/bojackhosreman/article/details/71480614
    http://weibo.com/1402400261/ElI2M62Tn?type=comment#_rnd1506236204757
    https://github.com/dmlc/xgboost/blob/master/plugin/updater_gpu/README.md
    ps：python传递引用，这个事情在写复杂链表拷贝的时候又出现了，哎
    举个例子：

    >>> a=[1,2,3]
>>> b=a
>>> b
[1, 2, 3]
>>> b[1]=3
>>> b
[1, 3, 3]
>>> a
[1, 3, 3]

    在把a这个list类（node类啥的同理）赋给b的时候，传递的是引用，内存中存储的还是只有一个list，这个细节在较大程序里可能会不小心，再次给自己做个记号。

  • tensorflow和GPU相关的
    特么又是你的问题！
    你大爷的！

    tensorflow是一个比较素质低的玩家，注意指定使用gpu的编号，不然单机容易bug，服务器也应该有人会举报你，因为这个玩家默认调用所用的gpu资源，申请不到就报错。

    所以，设置可见的GPU和使用的显存资源；

    （1）功劳不是我的，老老实实贴链接
    http://blog.youkuaiyun.com/wangkun1340378/article/details/72782593
    ps：当然也可以在执行的时候用CUDA_VISIBLE_DEVICES=0 python3 xx.py
    话说，这里又注意是python3，版本大家就不能只有一种么….
    （2）单机下看自己的GPU编号命令：nvidia-smi
    （3）安装tensorflow的时候，import可能出现有时候找不到对应版本的libcudnn啥的文件，那就去nvidia官网上找对应版本的cudnn，把一些文件拷贝到/usr/local/cuda-8.0/lib64里面去吧（有时候还要拷贝include文件夹的东西），具体细节应该在第二篇文本分类文章里有链接，关于cuda和cudnn的安装

没啦，没啥要说的了，oh还有就是感觉xgboost这种，特么要做的就是调参调参。。。

还有，听说u8出了7700k会降价？
哎，一不小心先买了微星z270 gaming pro的主板，听说也会降；
1100买了英睿达白马甲8g*2，一看别人买的，都是几百块钱的时候买的；
我好傻，买1060的时候也是贵的时候，但是有时候是真着急，刚需！
所以求牙膏厂给条活路，让我买到降价的7700k吧，我等你两周好不好，
很急很关键！

您可能感兴趣的与本文相关的镜像

TensorFlow-v2.15

TensorFlow-v2.15

TensorFlow

TensorFlow 是由Google Brain 团队开发的开源机器学习框架,广泛应用于深度学习研究和生产环境。 它提供了一个灵活的平台,用于构建和训练各种机器学习模型

xgboost的Python版本
02-22
xgboost的Python版本+陈天奇介绍性讲义BoostedTree+其他文件资料
xgboost[python版本]的安装
CV前沿
03-18 2634
首先需要下载的是： xgboost 在window 下的安装包； Microsoft Visual Studio 2013; anaconda安装包安装步骤： 先安装anaconda 安装包，里面包括scipy ,python ,numpy ,matplotlib 等众多第三方库；安装包下载时注意要看是32位还是64 位，之后就是一键安装，方便快捷无污染。 进入xgboost-master\w
使用 NVIDIA GPU 加速让 XGBoost 快速提升 46 倍
最新发布
素质云笔记
09-13 874
使用 NVIDIA GPU 加速让 XGBoost 快速提升 46 倍
64 位 windows 下 安装 xgboost python版本
TRUE_LOVE1314的专栏
03-06 1533
今天折腾这个事情折腾了好久，总算把xgboost装上了 大概就分为这么几部分  1.装python  2.git xgboost  3.编译 4.把xgboost加入到python库中去 1. 装python  其实有很多麻烦事 之前电脑里有 python3.3　后来改成2.7 结果还是缺很多包。 最后在给力的室友的帮助下 装了一个Anaconda ~ 这货就类似与一个pyt
XGB-23:Xgboost中的Python Package介绍
uncle_ll的博客
03-25 1076
介绍xgboost中的Python包
xgboost在python3和python2下快速安装和编译安装以及比较
u011785660的博客
11-08 1772
xgboost快速安装 在Python3.5/3.6环境中 从 http://www.lfd.uci.edu/~gohlke/pythonlibs/下载 xgboost whl 文件  注意要和本机版本匹配, 比如. "xgboost-0.6-cp36-cp36m-win_amd64.whl"说明安装的是python 3.6，机器是64位的。 安装命令： pip install xgbo
精选资源
部署好的tensorflow-gpu模式下的conda虚拟开发环境
06-07
tensorflow-gpu2.2.0+cudatoolkit10.1+cudnn7.6.5+显卡驱动470.129.06+linux内核5.4.113 pip uninstall certifi#否则安装不起来 验证tf.test.is_gpu_available()为True 纯净的tensorflow-gpu环境打包（linux系统）
GPU压力测试篇- TensorFlow
疯批美人
07-26 5749
对现有gpu的性能没有相关的测试，需要进行摸底测试预期测试目的：完成gpu对训练及预测服务的性能测试对现场部署及使用提供支持。
python 怎么用gpu运算_使用Python玩转GPU
weixin_39610366的博客
12-08 8976
问题随着机器学习对模型运算速度的需求越来越强烈，一直想进行GPU编程，但一直以来这些都是c++的专利一想到c++里的各种坑，就提不起劲来，毕竟这样来来回回填坑的投入产出，生产效率就会大打折扣解决方案让人欣喜的是，随着Python阵营的不断发展壮大，使用python进行GPU编程也越来越便捷了那么具体有些什么样的包，能针对GPU做些啥事呢？看看一些具体的代码，就能大概明白：首先是pycuda，这是它...
NVIDIA显卡驱动+CUDA+CUDNN+Tensorflow+Keras之间的关系（含各版本对应关系表）
qq_45186202的博客
01-19 4275
基础介绍 Driver 与键盘驱动、鼠标驱动、打印机驱动没本质区别，硬件统一CPU和外设通信的接口，以驱动程序的形式呈现 可使用nvidia-smi命令查看，需要注意的是，显卡支持的驱动一直是在更新的 CUDA（Compute Unified Device Architecture，NVIDIA推出的显卡并行计算框架） tensorflow-gpu的运行需要它的底层支持，它是一个计算框架，抽象层次比驱动高，每个版本的CUDA都是基于一定版本的驱动建立的，所以它对驱动的最低版本是有要求的 cuDN
TensorFlowTTS tts语音合成使用案例；tflite模型转换及加载使用
weixin_42357472的博客
07-18 932
参考： https://github.com/TensorSpeech/TensorFlowTTS/tree/136877136355c82d7ba474ceb7a8f133bd84767e https://huggingface.co/tensorspeech/tts-fastspeech2-ljspeech-encolab运行参考： https://colab.research.google.com/drive/1akxtrLZHKuMiQup00tzO2olCaN-y3KiD?usp=sharing#
python2.7 xgboost安装包
10-21
xgboost安装包，支持python2.7,可用于分类回归等机器学习任务。
Linux下安装Xgboost并支持GPU
01-09
Linux下安装Xgboost并支持GPU下载源码支持GPU正常流程报错：nvcc fatal : redefinition of argument ‘std’查看本机cmake版本查找报错原因确认报错原因解决办法安装Python支持查看安装包 下载源码 git clone --recursive https://github.com/dmlc/xgboost #若安装CPU版，直接执行以下命令 cd xgboost make -j4 支持GPU 正常流程 $ cd xgboost $ mkdir build $ cd build $ cmake .. -DUSE_CUDA=ON 切记：不
Python库 | xgboost-1.4.0-py3-none-manylinux2010_x86_64.whl
05-11
资源分类：Python库 所属语言：Python 资源全名：xgboost-1.4.0-py3-none-manylinux2010_x86_64.whl 资源来源：官方 安装方法：https://lanzao.blog.youkuaiyun.com/article/details/101784059
Linux下安装Xgboost(python2.7)以及anaconda下 安装xgboost
Joyeishappy的博客
12-07 1609
原文链接 0）安装git： sudo apt-get install git 1）安装xgboost： git clone --recursive https://github.com/dmlc/xgboost 如果是未联网的机器，先去https://github.com/dmlc/xgboost下载源码，再手动传到服务器，解压缩等 1）build： cd xgboost; ma...
查看xgboost版本
zkyxgs518的博客
08-20 4047
>> import xgboost as xgb >> xgb.__version__
linux下xgboost安装
SNS程飞的专栏
04-19 1273
sudo -H pip install --pre xgboost
linux 下安装xgboost
热门推荐
CV前沿
05-03 2万+
第一步：安装anaconda安装xgboost 有一些依赖包，所以在安装xgboost之前需要安装这些依赖包。为了方便安装，这里推荐直接安装anaconda，这里集成了绝大多数第三方库，安装步骤很方便，这里是具体方法第二步：下载xgboost官网的最新版xgboost 在编译时候总有问题，可能是版本过新的缘故。这里我使用的是之前xgboost的版本，编译很顺利。下载地址见这里第三步：编译和安装1.检
xgboost gpu版本编译与python接口安装
玛拉达
12-27 524
1.下载源码 git clone --recursive https://github.com/dmlc/xgboost –recursive 递归clone，不加的话gputreeshape文件夹会为空，导致GPU版本编译失败 2.编译 2.1依赖工具版本 cmake version 3.16.3 GNU Make 4.2.1 2.2 编译 在xgboost目录 mkdir build cd build cmake .. -DUSE_CUDA=ON make -j4 3.安装python接口 3.1
name: mlde channels: - defaults - conda-forge dependencies: - python=3.7.3 - numpy=1.16.4 - pandas=0.25.3 - tqdm=4.32.1 - biopython=1.74 - hyperopt=0.2.2 - scipy=1.3.0 - scikit-learn=0.21.2 - tensorflow-gpu=1.13.1 - keras=2.2.5 - xgboost=0.90 - nltk=3.4.4 - psutil - pip - pip: - -e ./code/tape-neurips2019/帮我解析一下
05-08
<think>好的，我现在需要帮助用户解析Conda环境配置文件中pip部分的含义，特别是-e参数的作用。用户之前询问过关于pip的-e参数，现在结合新的引用内容，需要进一步解答。首先，我得回顾之前的对话和相关引用。 用户提供的引用中，[^2]提到了pip install .和pip install -e .的区别，指出-e是editable模式，修改本地文件会立即生效。之前的回答也详细解释了-e的作用，包括源码关联和开发调试场景。现在用户的问题是针对Conda环境配置文件中的pip部分，特别是如何处理-e参数。 首先，我需要明确Conda环境文件的结构。通常，环境文件包含name、channels、dependencies等部分。在dependencies下，可能会有pip的依赖项，包括使用-e安装的可编辑包。例如： dependencies: - python=3.8 - pip - pip: - -e ./code/tape-neurips2019/ - numpy==1.21.0 这里的-e在pip部分的作用与之前解释的一样，即启用可编辑模式。但需要注意，Conda环境文件中的pip部分需要正确书写，确保路径正确，并且项目包含setup.py或pyproject.toml。 接下来，需要结合用户提供的引用[^1]中的错误信息。用户可能遇到了pip安装问题，特别是Python 3.5的兼容性问题，因为SyntaxError出现在sys.stderr.write(f"ERROR: {exc}")，这可能是由于Python 3.5不支持f-strings。用户可能升级了Python版本或者重新安装了pip来解决这个问题。因此，在配置Conda环境时，确保Python版本兼容性很重要，比如使用3.5以上版本以避免语法错误。 然后，引用[^3]提到安装miniconda时遇到的dll缺失问题，这可能在用户的环境中存在系统兼容性问题，但当前问题集中在环境配置文件中的pip部分，暂时不需要处理dll问题，但可能需要提醒用户确保Conda环境正确安装。 现在，用户的问题是将pip的-e参数整合到Conda环境配置文件中。需要解释如何在这样的文件中正确使用-e，并指出注意事项，比如路径、Python版本、依赖管理等。同时，需要区分Conda和pip的依赖管理，避免冲突。 可能的思考步骤包括： 1. 确认Conda环境文件中pip部分的语法结构。 2. 解释-e参数在其中的作用，与之前回答的pip -e一致。 3. 强调路径的正确性，相对路径相对于环境文件的位置还是项目的位置？ 4. 提醒用户关于Python版本的问题，如引用[^1]中的Python 3.5可能导致问题。 5. 对比Conda和pip安装方式的差异，说明为何在Conda环境中使用pip的-e参数。 6. 可能遇到的问题，如路径错误、依赖冲突等，如何解决。 需要确保回答结构清晰，分点说明，并结合用户之前的疑问和引用内容，给出具体的示例和注意事项。同时生成相关问题，帮助用户深入理解。</think>### Conda环境配置文件中`pip`部分与`-e`参数解析 结合Conda环境配置文件的语法结构和`pip install -e`的特性，具体分析如下： --- #### 一、Conda环境文件中`pip`依赖项的书写规范 在`environment.yml`文件中，通过`pip`字段声明**Conda无法直接管理的Python包**，格式为： ```yaml name: my_env channels: - defaults dependencies: - python=3.8 - pip # 必须声明pip - pip: # 缩进层级与普通依赖项对齐 - -e ./code/tape-neurips2019/ # 可编辑模式安装本地包 - numpy>=1.18 # 普通PyPI包 ``` 此时，Conda会先安装基础环境，再通过`pip`安装指定包[^2]。 --- #### 二、`-e`参数在Conda环境文件中的作用 `-e ./code/tape-neurips2019/` 的语义与直接使用`pip install -e`完全一致： 1. **源码映射机制** 在`site-packages`中创建`.egg-link`文件，指向本地项目目录（而非复制文件），实现代码修改实时生效。 2. **路径规范要求** - 路径需为**绝对路径或相对于环境文件所在目录的相对路径** 例如：若`environment.yml`位于`/project/`，则应写为`./code/tape-neurips2019/`（假设项目路径为`/project/code/tape-neurips2019/`）。 - 目标目录必须包含`setup.py`或`pyproject.toml`，否则安装失败。 --- #### 三、Conda与`pip -e`的协作注意事项 1. **Python版本兼容性** 若环境文件指定`python=3.5`，需确保本地包的代码兼容Python 3.5语法（例如避免使用f-strings等特性）[^1]。 2. **依赖优先级** Conda会优先安装其仓库中的包，若与`pip`安装的包冲突，可能导致环境不稳定。建议通过`conda list`检查版本一致性。 3. **跨平台问题** 包含`-e`路径的环境文件在Windows/Linux之间共享时，需注意路径分隔符差异（`/` vs `\`）。 --- #### 四、完整应用场景示例 假设项目结构如下： ``` project/ ├── environment.yml └── code/ └── tape-neurips2019/ ├── setup.py └── src/ ``` 则`environment.yml`中应配置： ```yaml dependencies: - pip: - -e ./code/tape-neurips2019/ # 正确路径 ``` 激活环境后，代码修改会直接反映到导入的包中。 --- ### 对比普通安装与可编辑安装 | 特性 | `pip install .` | `pip install -e .` | |---------------------|------------------------------|--------------------------------| | 文件存储位置 | 复制到`site-packages` | 仅创建链接文件 | | 修改源码生效方式 | 需重新安装 | 立即生效 | | 适用场景 | 生产环境 | 开发调试环境 | ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值