公用Linux服务器非root权限从零运行python项目

Anaconda

本来以为直接conda新建项目就可以，结果报错不存在这个命令，翻了翻发现其他用户每人文件夹下面一个anaconda3，遂决定先安装anaconda3.

下载源：清华大学开源软件镜像站
选择下载Anaconda3-2024.02-1-Linux-x86_64.sh

本来想直接用服务器下，但是输入命令wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/Anaconda3-2024.02-1-Linux-x86_64.sh报错

不知道为啥

安装过程参考Linux安装Anaconda教程
提示installation finished之后需要输入是否启动时自动开conda环境：

这里我选择的是no，提示是：

然后此时输入conda init会报错conda: command not found，解决方法是激活conda环境：

# 查看自己的Shell_name
echo $0
# 激活conda环境
# 	xxx替换为自己的文件夹名称
# 	YOUR_SHELL_NAME替换为刚才查看的Shell_name，一般为bash或zsh
eval "$(/home/xxx/anaconda3/bin/conda shell.YOUR_SHELL_NAME hook)"

出现(base)user@xxx:~$ 即为配置成功

参考

搭载了GPU的远程linux服务器（系统为Ubuntu18.04）配置深度学习环境（anaconda等）

环境

# 创建新项目
# 	env_name是项目名
conda create -n env_name python=3.8
conda activate env_name

CUDA

我想运行的项目需要pytorch==1.10.0，在pytorch官网找到v1.10.0对应的cuda版本为10.2或11.3：

使用nvcc -V命令查看当前cuda版本，如果显示command not found，可以到/usr/local/cuda下面查找（参考nvcc -V查看运行CUDA版本出现问题bash: nvcc: command not found）
在/usr/local下查看发现服务器只安装了cuda11.1和12.0，不可用，需要自己安装T T

通过nvidia-smi 命令查看CUDA最高版本+正在运行的程序

检索发现大部分CUDA安装都用sudo指令，然而我并没有管理员权限，参考非root用户 CUDA-10.1 10.2安装进行安装

注意：cuda版本的选择也要考虑显卡！ 我在安装cuda10.2+cudnn+pytorch10.0之后运行程序遇到警告：
`NVIDIA GeForce RTX 3090 with CUDA capability sm_86 is not compatible with the current PyTorch installation.
The current PyTorch install supports CUDA capabilities sm_37 sm_50 sm_60 sm_70.
If you want to use the NVIDIA GeForce RTX 3090 GPU with PyTorch, please check the instructions at https://pytorch.org/get-started/locally/
查询【Bug解决】NVIDIA GeForce RTX 3090 with CUDA capability sm_86 is not compatible with …发现原因可以概括为cuda版本太低（…），于是又重安cuda11.3

在cuda官网查询版本

# 下载cuda10.2安装包 
wget https://developer.download.nvidia.com/compute/cuda/10.2/Prod/local_installers/cuda_10.2.89_440.33.01_linux.run
# 下载cuda11.3安装包
wget https://developer.download.nvidia.com/compute/cuda/11.3.0/local_installers/cuda_11.3.0_465.19.01_linux.run

注意不要直接Download，那个下载的是补丁
一般多cuda的安装都选runfile

安装过程如下：

# 非管理员安装
sh cuda_10.2.89_440.33.01_linux.run

1. 遇到Existing package manager installation of the driver found. It is strongly recommended that you remove this before continuing.选择continue

2. accept

3. 取消Driver

4. 在上图Toolkit处摁A，进入下图，在Change Toolkit Install Path处回车，修改路径/home/xxx/cuda11.3/回到上图页面取消所有x

5. 回到安装的第一张图，在Options处Enter，进去后把最下面那个path修改成自己文件夹/home/xxx/cuda11.3

6. Install

7. 成功

cudnn

官网下载对应版本

# 解压
tar -xvf cudnn-linux-x86_64-8.5.0.96_cuda10-archive.tar.xz

先参考另一位博主的使用-zxvf会报错

复制文件操作参考linux非root安装特定版本的cuda

cp cudnn-linux-x86_64-8.5.0.96_cuda10-archive/include/cudnn.h /home/xxx/cuda-10.2/include/ 
# 我的cudnn里面没有lib64文件夹只有lib文件夹
cp cudnn-linux-x86_64-8.5.0.96_cuda10-archive/lib/libcudnn* /home/xxx/cuda-10.2/lib64/
chmod a+r /home/xxx/cuda-10.2/include/cudnn.h
chmod a+r /home/xxx/cuda-10.2/lib64/libcudnn*

修改环境变量操作依旧参考linux非root安装特定版本的cuda

一些vim的tips：

1. 光标下滑到文件末尾，输入o进入输入模式
2. 输入文本
3. 按esc退出输入模式
4. 输入:wq退出vim

vim ~/.bashrc

文件末尾写入

export PATH=/home/xxx/cuda-10.2/bin${PATH:+:${PATH}}
export LD_LIBRARY_PATH=/home/xxx/cuda-10.2/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}
export CUDA_HOME=/home/xxx/cuda-10.2
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/home/xxx/cuda-10.2/lib64
export LD_LIBRARY_PATH=/home/xxx/cuda-10.2/extras/CUPTI/lib64:$LD_LIBRARY_PATH

关闭并保存文件，命令行继续输入

# 激活环境变量
source ~/.bashrc
# 检查
echo $CUDA_HOME

替换其它版本cuda只要把vim文件的cuda原版本改成新版本就行

pytorch

参考搭载了GPU的远程linux服务器（系统为Ubuntu18.04）配置深度学习环境（anaconda等），失败
参考Linux服务器安装anaconda并安装pytorch，成功

pip install torch==1.10.0+cu102 torchvision==0.11.0+cu102 -f https://download.pytorch.org/whl/torch_stable.html

安装requirements.txt

pip install -r requirements.txt
# pip降版本
python -m pip install pip==20.0.2

如果太慢可以选用镜像源加速，参考pip install速度慢怎么解决、豆瓣源安装模块(python)

# 清华源
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
# 阿里源
pip install -r requirements.txt -i https://mirrors.aliyun.com/pypi/simple/