ubuntu系统离线搭建深度学习环境

前言

为什么写下这篇文章？因为很多情况下，机器机密级别较高不能联网以及通过U盘来进行文件传输，只能通过光驱刻盘的方式来进行文件传输，同时我将文中用到的依赖以及驱动全部上传至百度云。

离线安装ubuntu系统

系统安装环节参见我之前的一篇博客

离线搭建深度学习环境

安装NVIDIA驱动

其实这部分可以省略，因为安装 cuda 也会附带安装驱动，如果这一步安装了，那么在安装 cuda 的时候就需要取消 nvidia 驱动那一项。

这部分参考这篇博客

禁用nouveau驱动

• 创建创建 blacklist-nouveau.conf 文件

sudo tee /etc/modprobe.d/blacklist-nouveau.conf << EOF
blacklist nouveau
options nouveau modeset=0
EOF

• 更新配置文件

sudo update-initramfs -u
sudo reboot

重启后建议在 bios 中更改 security boot := FALSE 不然后面安装驱动可能不会通过

• 验证是否禁用成功

lsmod | grep nouveau

如果没有输出则表示禁用成功

离线安装编译环境

按 gcc, make, build-essential 顺序依次切入目录下，然后执行

sudo dpkg -i *.deb

安装NVIDIA驱动

• 切到驱动所在的目录下，然后打开终端，执行以下命令安装

sudo sh NVIDIA-Linux-x86_64-455.45.01.run --no-opengl-files

如果需要安装其他版本的驱动可以自行到官网上下载，但这里的名字以及后面路径名称需要相应变化。

• 验证是否安装成功

nvidia-smi

安装Cuda

这部分参考这篇博客，由于文件较大，建议大家自行百度参考其他博客下载

强烈建议大家按照博客的配套版本进行安装，可以参考其他博客的配套版本，防止出现问题。

• 切到具有cuda的 .run 文件目录下，安装 cuda

sudo sh cuda_11.2.0_460.27.04_linux.run

注意这里安装的cuda以及后面安装的cudnn最好与之前驱动匹配，前面执行 nvidia-smi 表中会有 CUDA Version: 11.2 的字样，所以这里安装的是版本是 11.2。安装前会出现几个选项，大家需要把驱动那一行的复选框给取消，Enter 键取消复选框。

• 添加环境变量

export PATH=/usr/local/cuda-11.2/bin${PATH:+:${PATH}}
export LD_LIBRARY_PATH=/usr/local/cuda-11.2/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}

• 设置环境变量

sudo gedit /etc/profile

• 在文件末尾添加

export PATH=“/usr/local/cuda/bin:$PATH”

• 验证是否安装成功

sudo ldconfig

• 设置动态链接库

sudo gedit /etc/ld.so.conf.d/cuda.conf

• 在文件末尾添加

/usr/local/cuda/lib64

• 更新设置

sudo ldconfig

• 测试样例

切到样例的目录下，一般为 /usr/local/cuda/samples/1_Utilities/deviceQuery

sudo make
sudo ./deviceQuery

安装cudnn

• 解压文件
• 进入 include 目录下，复制文件

sudo cp cudnn.h /usr/local/cuda/include

• 进入 lib64 目录下，复制动态链接库

sudo cp lib* /usr/local/cuda/lib64/

• 执行以下命令，重新生成链接

cd /usr/local/cuda/lib64/
sudo rm -f libcudnn.so libcudnn.so.7
sudo ln -s libcundnn.so.7.0.21 libcudnn.so.7
sudo ln -s libcundnn.so.7 libcudnn.so

注意这里的 .7, .7.0.21 需要根据文件中原有的名字进行命名

安装Anaconda3

• 下载 Anaconda3-5.3.1-Linux-x86_64.sh ，其他版本大家可以去清华镜像上下载，下载时注意版本号。
• 运行脚本文件

bash Anaconda3-5.3.1-Linux-x86_64.sh

安装 torch torchvision

• 这里建议大家不要用 conda install ，因为大概率会下到 cpu 版本的 torch 。从这里下载相应的 .whl 文件
• 然后切到相应的目录下

conda create -n env_name --clone base # 克隆一个环境
conda activate env_name # 激活该环境
pip install torch-1.7.1+cu110-cp37-cp37m-linux_x86_64.whl 
pip install torchvision-0.8.1+cu110-cp37-cp37m-linux_x86_64.whl

• 检验是否安装成功

python
>>> import torch
>>> torch.cuda.is_available()
False # 因为我的联网机器是集显

• 然后将 ~/anaconda3/envs/env_name 进行打包，然后发送至离线机器，然后解压就行

tar -cvf env_name.tar env_name/
# 将压缩包复制到离线机器上的 envs 目录下，然后在这个目录下打开
tar -xvf env_name.tar

可能有同学会问，为什么不直接在离线机器上直接通过 .whl 文件安装，我尝试过这种方法，但是失败了，也需要联网操作。这种方法只适用于两台电脑的路径名一致才行，条件很苛刻，如果不行，大家可以参考使用 conda-pack 进行转移环境，参考这里.

软件安装

安装pycharm

• 这里不再赘述，很简单，大家自行百度，关键是离线下载后 pycharm 没法直接从软件界面直接点开，需要每次都从 bin 文件中运行脚本，这样很难受。大家可以建立桌面快捷方式：
• 切到 /usr/share/applications 下

cd /usr/share/applications

• 新建 .desktop 文件

sudo gedit pycharm.desktop

• 复制以下内容，然后保存，你就能在 applications 界面看到 pycharm 了！

[Desktop Entry]
Encoding=UTF-8
Name=Pycharm
Comment=PyCharm Community Edition
Exec=dir/pycharm.sh
Icon=dir/pycharm.png
Terminal=false
Type=Application

安装 sublime

• 点击这里下载压缩包，然后按照 pycharm 的方式创建桌面快捷方式。

离线安装 Tweak

• 离线安装 Tweak 还是挺难受的，折腾了挺久的，但还是没搞成，先埋个坑。这里是 tweak 的deb 下载的地方，但是需要很多依赖，不建议尝试离线安装 tweak 。

这个是真的难受，明明能上网的话一行代码就能搞定，不知道还有没有其他的方法能更换主题跟图标