服务器安装管理软件——CentOS + Anaconda + pip + Numpy + PyTorch + TensorFlow

部署运行你感兴趣的模型镜像

服务器的环境没有root不可以使用pip,但是是可以访问外网的,故改用Anaconda进行包安装与管理。

TensorFlow、CUDA、cuDNN 的版本匹配参考:https://blog.youkuaiyun.com/u011119817/article/details/88309256

-----------------------------------------

错误记录:

1、macOS用FileZilla传输脚本Anaconda3-2019.10-Linux-x86_64.sh到服务器上后,该脚本文件运行时总是报错:

文件行尾被写入了dos的换行符,用dos2unix也解决不了,最后再mac的命令行使用scp直接传文件到服务器上,scp传上去的文件就没有问题,可以正常运行,故这里应该是filezilla设置方面的问题,需要后面解决。

-----------------------------------------

1、安装Anaconda:

(1)地址:https://www.anaconda.com/distribution/#download-section

选择linux的版本下载下来,然后将下载下来的.sh文件上传服务器。

(2)新建目录 /home/wangxiaosu/local

(3)运行命令(在任何一个目录下执行下面命令都是可以的,在命令运行过程中,会与用户交互指定安装anaconda的目录)

bash Anaconda3-2019.07-Linux-x86_64.sh

将软件安装在目录 /home/wangxiaosu/local

将软件包备份在目录 /home/wangxiaosu/local/software

(4)配置Anaconda

这里直接运行了 source /home/wangxiaosu/.bashrc

安装Anaconda的时候,Anaconda的安装向导会自动将环境变量写到bashrc中,只需要同意其写即可。

参考:https://www.cnblogs.com/xiao-apple36/p/9052102.html

运行 conda list ,展示安装的软件即表示安装成功。

(5)卸载Anaconda

参考:https://blog.youkuaiyun.com/Dawn__Z/article/details/82698187

2、安装Numpy:

conda install numpy

如果有更新、前置依赖,需要多运行几次上面的命令

参考:https://blog.youkuaiyun.com/NCTU_to_prove_safety/article/details/88596863

3、安装 PyTorch:

(1)新建虚拟环境目录 pytorch1_2:

conda create -n pytorch1_2

2020-8-24日补充:

conda create -n pytorch1_2 python=3.7

在后面加上python=3.7指明需要安装的Python环境,这样就可以在创建该虚拟环境pytorch1_2的时候一同安装Python3.7环境。

参考:https://blog.youkuaiyun.com/a493823882/article/details/87888509

(2)进入环境pytorch1_2,安装pytorch v1.2.0:

conda install pytorch=1.2.0 cudatoolkit=9.2

限定cudatoolkit版本的原因参见 4中的注3

2020-8-24日补充:

(1)并不需要一同安装 cudatoolkit,因为在安装 pytorch=1.2的时候,anaconda会自己判断需要安装的依赖的包cuda和cudnn,以及对应的版本。无需自己指定需要安装的cuda和cudnn版本。这样在这个pytorch1_2的虚拟环境下,使用的pytorch版本为1.2,其对应的cuda和cudnn分别是该环境的版本。

(2)所以根据上面(1),我们对本地机器只需要安装NVIDIA版本的GPU驱动即可,后面的cuda和cudnn都在anaconda的虚拟环境中进行安装深度学习库的时候,anaconda会自动进行安装cuda和cudnn。

4、安装tensorflow v1.14.0:(我们准备安装TensorFlow的两个版本:v1.14.0 和 v.2.0.0;)

我们准备新建两个环境目录:tf1_14 和 tf2_0;分别将上面的两个版本安装在对应环境目录中;安装在各自环境目录下的TensorFlow版本之间是不会互相影响的,在不同目录环境下也是不可以互相访问其他环境目录安装的软件和版本的。

新建环境目录、列出当前环境目录信息、删除环境目录、激活环境目录、退出环境目录、在环境中安装某个软件、删除环境目录中某个软件、删除环境中所有python包、删除整个环境目录等,参考:

https://blog.youkuaiyun.com/howard2005/article/details/101897316

(1)新建安装 TensorFlow=v1.14.0 的目录:

conda create -n tf1_14

(2)激活(进入)tf1_14:

conda activate tf1_14

(3)在tf1_14中安装TensorFlow v1.14.0:

conda install tensorflow-gpu=1.14.0 numpy=1.16.5 cudatoolkit=9.2 (GPU版本)

注1:如果安装普通版本TensorFlow(即不支持GPU),直接将上述命令中的 tensorflow-gpu=1.14.0 换成 tensorflow=1.14.0

注2:限定 numpy=1.16.5 的原因:

numpy没有用最新版本1.17,是因为用最新版的1.17后,在导入import tensorflow时,会报警告:对类型声明的方式在新版numpy中有变化,所以把numpy降到1.16就行了。

警报内容大致是:

FutureWarning: Passing (type, 1) or '1type' as a synonym of type is deprecated; in a future version of numpy, it will be understood as (type, (1,)) / '(1,)type'

注3:限定 cudatoolkit=9.2 的原因:

nvidia-smi 查看服务器GPU的信息,服务器上GPU的驱动按本号是:Driver Version: 396.44 

CUDA版本和GPU驱动的版本对应关系参考:https://www.jianshu.com/p/c9230101a272

故选择支持服务器GPU驱动的最大CUDA版本。

否则TensorFlow无法探测到GPU。

 

安装完成

5、安装tensorflow v.2.0.0:

可以参考:https://blog.youkuaiyun.com/u011119817/article/details/88309256

该步骤将清华的Anaconda镜像写到config文件中,发现没法用,后决定删除,删除参考:https://blog.youkuaiyun.com/silent56_th/article/details/78310772

直接使用 conda config --remove channels 'https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free' 好像还是没用。

(1)在Anaconda虚拟的环境下,可以先安装pip:

conda install pip

(2)使用pip安装tensorflow:

pip install tensorflow==2.0.0

查看TensorFlow版本:https://blog.youkuaiyun.com/qq_40614981/article/details/83035783

查看TensorFlow是否支持GPU:

import tensorflow as tf
tf.test.is_gpu_available()

参考:https://blog.youkuaiyun.com/u013249853/article/details/93162525

(目前安装2.0无法支持GPU,仍然是GPU驱动和cuda版本的匹配问题,从pip安装的tensorflow 2.0,用pip list 展示pip安装的包中没有cudatoolkit,但是仍然会报GPU驱动和cuda版本不匹配,是不是tensorflow 2.0集成了CUDA,目前没搞清楚?)

您可能感兴趣的与本文相关的镜像

PyTorch 2.5

PyTorch 2.5

PyTorch
Cuda

PyTorch 是一个开源的 Python 机器学习库,基于 Torch 库,底层由 C++ 实现,应用于人工智能领域,如计算机视觉和自然语言处理

<think>我们正在讨论在量化服务器安装和配置Anaconda。根据引用内容,我们可以整合以下步骤:1.更新系统并安装必要工具(如引用1所述)2.安装Anaconda(引用1和引用2都提到了Anaconda)3.创建虚拟环境(引用2展示了如何创建和激活虚拟环境)4.在虚拟环境中安装所需的包(如引用3中提到的从GitHub克隆并安装,或者使用pip安装)由于用户的问题是在量化服务器安装Anaconda,我们假设服务器是Linux系统(如CentOS)。具体步骤:步骤1:更新系统并安装依赖在终端中执行以下命令(参考引用1):sudoyumupdate-ysudoyuminstallbzip2-ysudoyumgroupinstall"DevelopmentTools"-y#安装开发工具集步骤2:下载Anaconda安装脚本访问Anaconda官网(https://www.anaconda.com/products/distribution)获取最新的Linux安装脚本链接。例如,使用wget下载:wgethttps://repo.anaconda.com/archive/Anaconda3-2023.03-Linux-x86_64.sh步骤3:运行安装脚本bashAnaconda3-2023.03-Linux-x86_64.sh按照提示进行安装,包括阅读许可协议(按空格翻页,然后输入yes同意),选择安装路径(一般按回车使用默认路径),最后会询问是否初始化conda,输入yes。步骤4:激活condasource~/.bashrc#或者重新打开终端步骤5:创建虚拟环境(参考引用2)condacreate-nquant_envpython=3.9#这里我们创建名为quant_env的环境,使用python3.9condaactivatequant_env步骤6:在虚拟环境中安装量化所需的包例如,安装pytorch(参考引用2):condainstallpytorchtorchvision-cpytorch#或者根据官方推荐命令安装安装其他量化相关的包,如pandas,numpy,matplotlib等:condainstallpandasnumpymatplotlib如果需要从GitHub安装特定包(如引用3中的abu),可以:gitclonehttps://github.com/bbfamily/abu.gitcdabupipinstall-e.注意:如果服务器没有git,需要先安装:sudoyuminstallgit-y步骤7:配置JupyterNotebook(可选,如果需要在服务器上使用)condainstalljupyterjupyternotebook--generate-config#设置密码jupyternotebookpassword#修改配置文件以允许远程访问等(需要配置IP和端口等,具体根据需求)以上步骤完成后,Anaconda环境就配置好了,并且创建了一个专门用于量化工作的虚拟环境。注意事项:-在服务器安装时,确保有足够的权限(可能需要sudo执行部分命令)。-如果使用云主机(如引用2提到的),可能已经预装了Anaconda,那么只需要创建虚拟环境即可。-安装过程中注意网络连接,因为下载文件可能较大。生成相关问题:1.如何验证Anaconda是否安装成功?2.在虚拟环境中如何安装特定版本的Python包?3.如何配置JupyterNotebook以便远程访问?4.在量化环境中通常需要安装哪些包?5.如何管理多个虚拟环境?</think>### 在量化服务器安装和配置 Anaconda 的完整指南 #### 一、系统准备(Linux 环境) 1. **更新系统并安装依赖**(参考引用[1]) ```bash sudo apt update -y sudo apt install bzip2 -y sudo apt install build-essential -y # 开发工具集 ``` 2. **安装必要组件** ```bash sudo apt install wget git -y # 下载工具和版本控制 ``` #### 二、安装 Anaconda 1. **下载安装脚本** ```bash wget https://repo.anaconda.com/archive/Anaconda3-2023.09-0-Linux-x86_64.sh ``` 2. **运行安装** ```bash bash Anaconda3-2023.09-0-Linux-x86_64.sh ``` - 按提示按 `Enter` 阅读协议,输入 `yes` 同意条款 - 选择安装路径(默认 `~/anaconda3`) - 初始化时选择 `yes` 自动添加环境变量 3. **激活配置** ```bash source ~/.bashrc # 立即生效环境变量 ``` #### 三、配置量化环境(参考引用[2]) 1. **创建虚拟环境** ```bash conda create -n quant_env python=3.9 # 指定Python版本 ``` 2. **激活环境** ```bash conda activate quant_env ``` 3. **安装核心库** ```bash conda install numpy pandas matplotlib scikit-learn ``` #### 四、安装量化专用包(参考引用[3]) 1. **安装 PyTorch** ```bash conda install pytorch torchvision -c pytorch ``` 2. **安装量化框架** ```bash pip install backtrader quantstats pyfolio ``` 3. **从GitHub安装最新工具** ```bash git clone https://github.com/bbfamily/abu.git cd abu pip install -e . # 可编辑模式安装 ``` #### 五、验证安装 ```bash conda list | grep "pandas\|torch" # 检查关键包 python -c "import torch; print(torch.__version__)" # 验证PyTorch ``` #### 六、服务器优化 1. **配置Jupyter远程访问** ```bash jupyter notebook --generate-config jupyter notebook password # 设置访问密码 ``` 修改配置文件 `~/.jupyter/jupyter_notebook_config.py`: ```python c.NotebookApp.ip = '0.0.0.0' c.NotebookApp.open_browser = False c.NotebookApp.port = 8888 # 指定端口 ``` 2. **启动服务** ```bash nohup jupyter notebook > /dev/null 2>&1 & ``` --- ### 关键注意事项 1. **权限问题**:若遇权限错误,使用 `sudo` 或联系管理员 2. **环境隔离**:不同项目使用独立虚拟环境 3. **版本兼容**:量化库需匹配Python版本(如 `TA-Lib` 需编译安装) 4. **云主机优化**:云服务器通常预装Anaconda(参考引用[2]),直接创建环境即可 ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值