深度学习环境配置——1.1 系统环境搭建

数分在路上

已于 2024-11-14 21:00:06 修改

阅读量1k

点赞数 19

分类专栏：数据闭环&深度学习---环境搭建文章标签：深度学习人工智能数据挖掘神经网络机器学习信息与通信 ubuntu

于 2024-11-07 02:07:17 首次发布

本文链接：https://blog.youkuaiyun.com/m0_59148663/article/details/143582926

版权

数据闭环&深度学习---环境搭建专栏收录该内容

7 篇文章

订阅专栏

背景：在日常项目处理中，经常遇到无法定位到的系统问题，一般来说可通过重装系统解决，本部分说明系统重装前提——系统盘制作。
进入清华镜像下载网页：https://mirrors.tuna.tsinghua.edu.cn/
查找ubuntu20镜像： 搜索栏输入“ubuntu” -->点击“ubuntu-releases” --> 选择对应版本镜像（推荐20.04）-->选择Ios版本进行下载（如下图所示）
获取启动盘制作软件：推荐使用UltralSO，提取码为tdqj
制作启动盘：参考制作一个启动U盘安装Ubuntu20.04
- 注意1：制作完成后U盘内所有数据均会被清空
- 注意2：需要将系统盘重新变成存储盘，可用使用该软件格式化即可，如果直接格式化可能是因为只读形式无法格式化；

2. ubuntu20系统安装

背景：本部分简单说明系统安装相关，其中重点介绍实际工作中部分常被忽视的配置信息；
ubuntu20系统安装：
- 进入biso界面：常见有Fn+F2、F1、Delete等，具体可搜索该设备进入方法；
- 选择启动方式：选择U盘启动即可
- 进入安装界面：插入硬盘 --> 选择最右上方位置save&exit （没有则选择boot） --> boot override下方对应盘 --> 进入系统安装界面 --> ctrl+c --> 按照提示进行安装【这部分内容很多人书写，可自行百度】
- 注意事项：如果是双系统，不要将磁盘格式化。
关闭自动更新：
- 原因：为了避免后续安装GPU驱动时出现错误；
- 具体步骤：软件和更新 -->更新 -->进行相关设置
开机自启动：
- 原因：在日常工作中，常出现电脑卡顿需要远程重启，设置该部分则可直接登录，服务器中的远程（如todesk等），可开机自启动，保证可用远程过去。
- 具体操作：设置-->用户-->解锁-->勾选自动登录

3. 机械盘挂载

原因：在常见的服务器上，配置了机械盘，一般需要进行挂载，后续非系统文件放在挂载盘中，本节主要介绍盘挂载相关。
常见命令汇总：下面是常用的一些基础命令，建议收藏记录

lsblk   #查看机械盘挂载信息
sudo blkid /dev/sdb1 #查看机械盘存储类型与UUID  
sudo mkdir /mnt/sda /mnt/sdb #创建映射文件 一般在/mnt文件下
sudo chmod -R 777 *  #对文件赋予权限   需要对映射文件配有权限
sudo mount -a  #刷新硬件信息
sudo mount /dev/sdb1 /mnt/volume_2T_01  #临时挂载，重启则消失
#vim 基本操作
esc  shift+ 冒号+wq 保存  #文件保存退出
esc  shift+ 冒号+q!  #文件不保存退出
insert  写入信息

磁盘初始化步骤：配置RAID-->更改存储类型 -->磁盘分区-->磁盘格式化-->磁盘挂载
- 配置RAID：该部分属于服务器更加基础部分，一般不同厂家会有不同的说明文档，可以通过售后询问到，还涉及热插拔、不同品牌服务器之间的磁盘交互等，暂不在这说明；
- 更改存储类型：2T以上盘需要处理，2T以下忽略，以浪潮服务器为例：sudo parted /dev/sdb -->mklabel --> gpt -->q 【/dev/sdb 是磁盘位置，可以通过lsblk查看】
- 磁盘分区：sudo fdisk /dev/sdb --> n -->创建新分区 --> 主分区（P）--> 选择分区个数（1）--> 多个默认回车（默认起始存储位置）--> w保存
- 格式化磁盘：sudo mkfs.ext4 /dev/sdb1 --> 回车【等待时间较长】
  - 注意1：/dev/sdb1 不是/dev/sdb ，分区后通过lsblk可以看出区别
  - 注意2： 磁盘挂载失败一般是因为没有进行格式化操作
- 磁盘挂载： 一般在/mnt文件夹下新建文件对磁盘映射挂载
  - 临时挂载（重启消失）：创建映射文件夹 --> 赋予权限 --> 临时挂载-->刷新操作
  - 永久挂载（常见方式）：创建映射文件夹 --> 赋予权限 --> 查看UUID --> 打开fstab文件（sudo vim /etc/fstab） --> 写入下图信息 --> 刷新操作
  - 自动挂载（依据磁盘位置）：创建映射文件夹 --> 赋予权限 -->打开fstab文件（sudo vim /etc/fstab）--> 写入下图信息--> 刷新操作【热插拔常见配置】

4. 网络配置

背景：本部分内容，本人也了解的不多，但是日常中经常会遇到一些网络问题，这里罗列部分，仅供参考。
单网线基本配置： 主要包含网络ip、子网掩码、网关、DNS信息（用于公司内网通信）。
- 配置步骤：插入网线-->设置--> 网络 -->点击网络配置 --> IPv4 --->手动 -->填写配置信息
- 注意：DNS一般手动配置可能会导致DNS写入不进去配置文件，需要对终端命令行写入
- ```
# 修改网络的DNS  配置文件     将其中的DNS配置成指定的即可
sudo vim /etc/system/resoived.conf    #通过可视化界面无法成功配置外网
```
路由配置：（多网线连接）：可是实现一个服务器配置多个网卡，参数注意包括
- 路由地址：需进行数据交换的网络ip，其中 0.0.0.0 表示任何网络；
- 路由子网掩码：一般填24，表示从.1到.254结尾的ip均可链接；
- 路由网关：与ip地址配置时的网关保持一致即可；
- 路由跃点：其大小表示进行数据传输时优先顺序，一般将局域网的跃点较小（优先级高），外部网络的跃点较大（优先级较低）；
常见命令汇总

sudo apt-get install ethtool   #安装辅助工具
# 查看网络ip   ifconfig
erhtool 网孔名称（通过ifconfig查看）  #查看网孔传输速度

ip route # 查看已有路由信息 
# 添加指定路由  
sudo ip route add 192.168.3.0/24 via 192.168.5.1 dev ens17f1 proto static metric 100
# 删除指定路由   
sudo ip route del 192.168.3.0/24 via 192.168.5.1  
#测试数据传输速度
dd if=/dev/zero of=/data02/1g bs=4M count=256

说明： dd表示创建的指定大小文件；if=/dev/zero表示输入的文件，文件中是无限长的0序列；of=/data02/1g输出文件的路径信息；bs=4M表示块的大小为4MB；count=256块的个数； 4MB*256 =1GB

5. RAID简介

定义：RAID是一种把多块独立的磁盘(物理硬盘)按不同的方式组合起来形成一个磁盘组(逻辑硬盘)，从而提供比单个磁盘更高的存储性能和提供数据备份技术，设计的目的是为大型服务器提供高端的存储功能和冗余的数据安全。
基本功能：1）对数据的冗余保护；2）减少了磁盘的机械寻道时间，提高数据存取速度；3）对数据成块存取；
不同RAID对比

级别	需要数量	存储方式	空间利用率	性能	可靠性
RAID 0	≥2	部分存储每块存n/1数据	100%	最高	最低
RAID 1	≥2	全部存储每块存全部数据	50%	最低	最高
RAID 10	≥4	有一半磁盘存相同的数据	50%	一般	一般
RAID 5	≥3	1块校验，剩下存储	(n-1)/n	较高	较高
RAID 6	≥4	2块校验，剩下存储	(n-2)/n	较低	较高