【Conda日常使用记录】

关于 MacBook Pro 运行 XGBoost 遇到的各类问题 可视化第二期:在R平台使用ggplot2前言开始运行运行环境安装 XGBoost其他安装方式遇到的问题测试你的 xgboost 吧总结 前言 因为工作原因,需要平凡接触 XGBoost 这个模型。为了方便起见,除了公司提供的 Linux 服务器以外,自己也在本地安装了 XGBoost,从此开始遇到各种问题,甚至还重装了 anaconda3,可谓是血泪史。所以在此记录下自己遇到的各种问题和最后解决的途径,也欢迎大家在评论区留言给出自己独到的见解~ 开始运行 运行环境 MacBook Pro (13-inch, 阅读详情

基本使用

创建、激活、退出、删除、克隆、导出配置、导入配置、环境升级

# 创建虚拟环境
conda create -n conda_venv python=3.7
# 激活虚拟环境:
conda activate conda_venv
# 退出虚拟环境
conda deactivate

# 删除虚拟环境:
conda remove -n conda_venv --all
# conda_venv 是虚拟环境的名称

# 创建克隆的虚拟环境:
conda create -n conda_venv  --clone base
# conda_venv 是虚拟环境的名称

# 导出当前环境配置
conda env export > conda_venv.yaml
# env 是命令 不是环境名称 需要先activate 想要导出的环境 在该环境下运行命令

conda env create -f conda_venv.yaml
# env 是命令 不是环境名称

# conda 环境升级
conda update -n base conda



小技巧

conda环境升级gcc版本

(参考自:https://www.zhihu.com/question/56272908)
Anaconda Cloud 搜索gcc,找对应版本,安装后,可运行 gcc --version检查版本。
比如 gcc 7.3 对应的(这里没有g++ 不推荐使用这个):

conda install -c moussi gcc_impl_linux-64 
conda install -c creditx gcc-7
# 将gcc 链接到原来的gcc 上
ln -s ~/miniconda3 (your conda path)/envs/(env)/bin/x86_64-conda_cos6-linux-gnu-gcc ~/miniconda3 (your conda path)/envs/(env)/bin/gcc
# 如:
ln -s  /ai/ss/anacoda3/envs/pointRender/bin/x86_64-conda_cos6-linux-gnu-gcc  /ai/ss/anaconda3/envs/pointRender/bin/gcc

重新进入虚拟环境即可。

比如:升级 gcc 到4.9版本:

conda install -c serge-sans-paille gcc_49
ln -s /ai/ (your conda path)/anaconda3/envs/pointRender/bin/gcc-4.9 /ai/ (your conda path)/anaconda3/envs/pointRender/bin/gcc

ln -s /ai/ (your conda path)/anaconda3/envs/pointRender/bin/g++-4.9 /ai/ (your conda path)/anaconda3/envs/pointRender/bin/g++ 

如升级gcc 到 5.x版本:

conda install -c psi4 gcc-5
# 和上面类似再软连接到默认的gcc ,g++

批量查看env各个环境的python版本

for env in $(conda env list | grep -v NAME | cut -d' ' -f1); do echo "Environment: $env"; conda activate $env; python --version; done

日常使用记录

日常工作环境中遇到的问题与解决方法

Conda

安装包时遇到的问题

  • InvalidArchiveError
    conda 安装包的时候遇到报错:
    InvalidArchiveError('Error with archive ... .tar.bz2. You probably need to delete and re-download or re-create this file. Message from libarchive was:\n\nCould not unlink')

    原因: 因为硬盘空间或权限相关导致conda 无法下载该包或者无法解压

    解决方法: 硬盘空间问题:删除不用的包增加空间,权限问题:改变 tar 包或者该包对应的解压路径的目录文件的权限。

  • 下载超时问题

conda config --set remote_connect_timeout_secs 40
conda config --set remote_read_timeout_secs 100
  • conda 安装pytorch 加速
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/

conda install pytorch torchvision cudatoolkit=10.1
  • 安装过程中可能遇到 “段错误” 的问题,

    需要清理下安装包的缓存重新下载安装即可

conda clean -a
  • 总是下载不下来可以考虑单独下载安装包线下安装
    比如:
conda install --offline ./cudnn-7.0.5-cuda8.0_0.tar.bz2
  • 安装包遇到AttributeError: /…conda/lib/libxgboost.so: undefined symbol: path
    安装一个包后conda突然遇到上述报错
conda clean -i 
# 上面命令运行完成后看是否已经无报错,如果还有报错继续下面操作
cp ~/.condarc ~/.condarc_bak
rm ~/.condarc

参考自:stackoverflow

安装的包import时遇到的问题

  • 运行报错 CXXABI_1.3.9mportError: /lib64/libstdc++.so.6: version CXXABI_1.3.9' not found 或者报错 ImportError: /lib64/libstdc++.so.6: version GLIBCXX_3.4.21’ not found
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/yours_env_path/anaconda3/lib
【Ubuntu16.04】使用conda安装NumPy和Pandas 前言 NumPy(Numerical Python) 是 Python 语言的一个扩展程序库,支持大量的维度数组与矩阵运算,此外也针对数组运算提供大量的数学函数库。 如果不知道怎么安装conda详细可以查看Ubuntu16.04 安装 Anaconda ,与此同时进一步查看pandas安装以及使用ubuntu16.04 熟悉 pandas 后续的学习目的也是为了更好的解决日常办公需求,所以pandas,numpy也将是我自己的学习重点; 安装NumPy和Pandas 创建自己的环境,不推荐使用base环境中 阅读详情

相关推荐

别再死磕pip install了!用conda搞定pyarrow和datasets库的避坑全记录

本文详细介绍了如何利用conda替代pip安装pyarrow和datasets库,避免常见的'Failed to build wheel'错误。通过对比pip与conda的核心优势,提供从环境创建到依赖管理的完整解决方案,帮助Python开发者高效解决复杂库安装难题,提升开发效率。

dichu2296的博客 455

pyinstaller打包xgboost项目发生错误

用pyinstaller打包一个调用了xgboost的项目,打包时没有报错,但是运行打包生成的可执行文件时,报出了如下错误,但xxx/libxgboost.so这个文件确实存在。

hnyzyty的专栏 1522

如何在conda环境下升级gcc版本

在使用conda构建Python环境进行编程时,需要使用不同版本的gcc进行编译。但是,有些版本的gcc可能没有包含在默认的conda环境中。所以,在使用conda创建的环境中升级gcc版本是非常必要的。在确认当前环境下的gcc版本后,需要确认需要升级到哪个版本。可以通过访问gcc的官方网站(https://gcc.gnu.org/)查找需要下载的版本。通过以上步骤,我们成功地在conda环境下升级了gcc版本。可以使用步骤一中的命令再次查看gcc版本,如果显示的是新安装的版本号,则升级成功。

持续更新 6421

linux下xgboost的安装与测试

在运行前,要先将python安装好, gcc 5 以上, cmake版本也不能太低 1编译安装基础包 git clone --recursive https://github.com/dmlc/xgboost 下载后的档案在xgboost文件夹里 cd xgboost mkdir build cd build cmake .. 如果报错可以先upgrade gcc,cmake版本 make -j$(nproc) //nproc是操作系统级别对每个用户创建的进程数的限制make -j...

howard789的博客 1209

NR RRC协议(2)---RRC连接建立流程

RRC连接建立目的是建立SRB1 RRC连接建立还用于将初始NAS消息从UE传送到网络 RRC连接的初始阶段期间,不激活AS安全性 RRC连接建立由UE侧发起

crg2046的博客 1957

5.1 Tessent Atpg系列 第八章 Test Pattern Generation - Verify Test Pattern

为什么要做基于timing的仿真,意义在于可以比较ATPG工具和simulator工具的差异性。因为时序的差异导致不同的结果。首先你需要通过write_patern 这句cmd来写出pattern,默认是parallel 模式,除非你用-serial 指定写出serial, 因为serial 文件非常大,所以你可以使用-sample 开关写出部分pattern即可,工具会根据每一种pattern 类型都会至少保存一只。 另外,你也可以使用-start -end 开关来减少文件大小,但是这样的截取,是不可靠的

ciscomonkey的博客 7761

MAC OS X安装openmp版xgboost

OS X不自带OpenMP,似乎xgboost不能多线程,超慢的样子,虽然xgboost官网有装openmp的教程,但是我试了没有成功。 xgboost官网安装教程:http://xgboost.readthedocs.io/en/latest/build.html 里面说brew install gcc --without-multilib然后就能make成功,但是我就make不成功。

逗题博客 2786

PID调参避坑手册:用APM/PX4飞控让无人机稳如老狗

本文提供了一份针对APM/PX4飞控的PID调参实战指南。文章从理解PID控制原理出发,详细解析了级联控制结构,并给出了从内环到外环的五步调参流程与数据日志分析方法,帮助无人机爱好者避开常见误区,实现稳定飞行。

red88的博客 873

生信小白记录日常问题:Conda 安装 Busco步骤及遇到的问题

conda安装busco步骤以及遇到的问题

CC_baby_lky的博客 3951

半导体设备上位机开发:我的经验与新人指导

半导体设备上位机开发是一项复杂而富有挑战性的工作,需要扎实的技术基础和丰富的经验。如果你对半导体设备上位机开发感兴趣,欢迎随时与我交流,我会尽力帮助你!

qq_43518667的博客 2726

从ESP/ABS选型看轮速传感器:为什么你的车用了AK+PWM+7/14mA三种协议?

本文深入解析了汽车轮速传感器的三种主流协议(7/14mA电流型、PWM型和AK协议型)及其混合应用场景。通过对比不同协议的技术特点、成本效益和工程挑战,揭示了现代车辆采用多种传感器协议背后的设计逻辑,包括成本控制、性能平衡和冗余设计等关键因素。

weixin_29266679的博客 531

【日常码农工作记录】windows conda环境 迁移 到 linux

本文记录了将Windows Conda虚拟环境迁移到Linux系统的过程。主要问题是由于系统差异导致部分包版本信息格式不兼容,特别是Windows路径格式的包引用(如Bottleneck@file://路径)。解决方法是通过pip show命令查询真实版本号,将所有非标准格式修改为标准格式(如Bottleneck==1.4.2),生成规范的requirements.txt文件。最终使用pip install -r requirements.txt在Linux系统成功重建相同环境。该方案有效解决了跨系统环境迁

weixin_37485451的博客 342

【系统分析师】2025年下半年真题:综合知识-答案及详解(回忆版)

本文摘要包含系统分析师考试相关题目解析,主要涵盖软件工程、数据库、网络协议和项目管理等知识点。内容包括:软件再工程与逆向工程的区别(D);GNU GPL开源协议特性(A);TCP/IP协议分层(A、B);数据库范式判定(A、B);前导图进度管理工具(C);系统规划中的数据类识别方法(B、D);关系代数除运算(C);CMM优化级特征(A);回归测试重要性(C)。这些解析帮助理解核心概念和考试重点。

数据知道的博客 6715

[服务器]高性能计算集群使用记录

[服务器]集群服务器上传本地文件到集群上 使用记录 本文用来记录自己日常使用高性能集群的命令,以及遇到的一些问题和相关解决方法 1.上传本地文件到集群服务器上 !要在本机用scp命令才可以上传,而不是用已ssh远程控制 scp -r [本地路径] [用户名]@[IP]:[服务器上的目标路径] 2. ...

yuki_lulu的博客 1112

本地搭建 GitLab 14.1.0版本CI/CD

GitLab 镜像版本 gitlab/gitlab-ce:14.1.0-ce.0 GitLab Runner 镜像版本 gitlab/gitlab-runner:v14.1.0 搭建此套环境是在一台32G的windows电脑上安装的。 使用dokcer安装。 此外还涉及的软件Docker Desktop,WSL 安装GitLab 首先启动 dockcer,打开WSL 打开后 首先定义GitLab的持久化目录 export GITLAB_HOME=/srv/gitlab 然后运行安装GitLab的命令

知无涯 4490

Vulkan入门系列3 - 绘制三角形代码解析(全)

【代码】Vulkan入门系列3 - 绘制三角形完整代码(带详细注释)

GPU全栈博主 1033

linux常用指令记录

linux 常用指令记录 nvidia-smi 看哪个卡有内存 conda creata -n +虚拟环境名 +python=x.x 创建python版本为x.x的虚拟环境 conda env list 查看有哪些环境 source activate +环境名

weixin_44928039的博客 185

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面,电脑运行连游戏界面都一样大小,很怀旧,很真实,(英文版)强烈推荐,很小的文件,很难才找到的。

在conda环境中使用pip管理Python项目依赖

通过本章的学习,你应该掌握了如何在conda环境中使用pip来管理Python项目的依赖。pip作为Python的包管理工具,可以方便地安装和管理那些conda无法覆盖的库。结合使用conda和pip,可以让你更灵活地构建和管理项目环境。在接下来的内容中,我们将继续探讨如何打包Python应用程序,并确保它们能够在不同的平台上运行。好了,今天的分享就到这里了,我们下期见。如果本文对你有帮助,请动动你可爱的小手指吧!本文介绍了Python在文件操作、数据处理及Excel操作方面的核心技能。

2301_78095812的博客 1524

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

Linux系统用到的指令

含义 名称 用法 进入目录 cd cd 文件名 查看文件夹内文件 ls/ll ls/ll 文件名 激活anaconda中的python虚拟环境 conda activate conda activate 虚拟环境 关闭anaconda中的python虚拟环境 conda deactivate conda deactivate 虚拟环境 查看anaconda中的python虚拟环境 安装的库

weixin_48067000的博客 795

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

日常记录帖

主要点:切换内核:在指定的conda环境中安装nb_conda_kernels ,即可在jupyter中切换到此环境。

weixin_45777855的博客 172

日常记录沙雕操作

1.2019-5-57:安装好anaconda3找不到conda命令: echo ‘export PATH="/root/anaconda3/bin:$PATH"’ >> ~/.bashrc source ~/.bashrc conda --v

qq_36656705的博客 1064

在jupyter notebook中使用conda创建的虚拟环境

想要在jupyter notebook中跑conda配置的虚拟环境,那么在虚拟环境中也需要安装jupyter notebook对应的组件。 参考:如何在Jupyter notebook中使用virtualenv虚拟环境 1、进入虚拟环境xxx activate xxx 2、安装ipykernel conda install ipykernel 3、将虚拟环境添加至jupyter n...

自己写着玩的 2197

记录跑代码的日常(git的使用)

第一步,创建可以使用conda的环境(这里更换成自己的conda.sh所在的位置)今天把昨天的一个小收获记录一下就是,git的使用。记住在你要打开的代码文件夹那里打开。第二步,激活虚拟环境。

weixin_63106931的博客 573

安装 Conda 环境

Conda 是一个开源的跨平台包管理器和环境管理系统,支持 Python、R、Julia 等语言。它广泛用于数据科学和机器学习领域,能够轻松创建、管理和切换开发环境。安装步骤1. 安装 Anaconda 或 MinicondaAnaconda是一个完整的 Python 发行版,包含 Python 和常用的科学计算包(如 NumPy、Pandas、Matplotlib 等)。Miniconda是一个精简版本,仅包含 conda 工具和 Python 解释器,适合需要自定义安装的用户。选择合适的版本。

2501_91537435的博客 1294

Python篇:使用conda、pip的一些命令记录

【代码】Python篇:使用conda、pip的一些命令记录。

肆意飞扬 182

上位机知识篇---Conda

Conda提供Anaconda和Miniconda两个版本:Anaconda预装1500+科学包(约3GB),适合数据科学初学者;Miniconda仅含基础组件(约400MB),适合高级用户。常用命令包括环境创建(conda create)、包管理(conda install)等。环境打包推荐三种方法:1)使用environment.yml导出配置;2)用conda-pack工具完整打包;3)pip freeze记录Python包。

在你不想做的时候,正是应该做的时候。 1695
上一篇: windows 环境下打包为exe 与 playwright 代码带浏览器独立打包
下一篇: linux 命令行下批量解压当前目录下的所有zip文件到指定目录
Magicapprentice
博客等级 码龄12年 111粉丝 42原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值