Shell 笔录

Shell

一、概述

​ Shell 是一个 命令行解释器，它接收应用程序/用户名，然后调用操作系统。

​ Shell 是一个功能相当强大的编程语言，易编写，易调试，灵活性强。

二、Shell 解析器

​ Linux 提供的 Shell 解析器有 6 种，其中 sh 和 bash 最为常用。

[atguigu@hadoop101 ~]$ cat /etc/shells 
/bin/sh
/bin/bash
/sbin/nologin
/bin/dash
/bin/tcsh
/bin/csh

​ bash 和 sh 的关系：sh 是一个软连接，本质还是调用 bash。

[atguigu@hadoop101 bin]$ ll | grep bash
-rwxr-xr-x. 1 root root 941880 5月  11 2016 bash
lrwxrwxrwx. 1 root root      4 5月  27 2017 sh -> bash

​ CentOS 默认的解析器是 bash

[atguigu@hadoop102 bin]$ echo $SHELL
/bin/bash

三、Shell 脚本入门

​ 脚本格式

​ Shell 脚本首行要声明 #!/bin/bash ，用来指定解释器

​ Helloworld

[atguigu@hadoop101 datas]$ touch helloworld.sh
[atguigu@hadoop101 datas]$ vi helloworld.sh
# 在helloworld.sh中输入如下内容
#!/bin/bash
echo "helloworld"

​ 执行脚本的方式

​ 方式一：采用 bash 或 sh + 脚本的相对路径或绝对路径

[atguigu@hadoop101 datas]$ sh /home/atguigu/datas/helloworld.sh 
helloworld
[atguigu@hadoop101 datas]$ bash helloworld.sh 
Helloworld

​ 方式二：采用输入脚本的绝对路径或相对路径执行脚本（前提是必须有脚本的执行权限）

[atguigu@hadoop101 datas]$ ./helloworld.sh 
Helloworld
[atguigu@hadoop101 datas]$ /home/atguigu/datas/helloworld.sh 
Helloworld

​ 多命令处理

​ 在/home/maben996/目录下创建一个 maben.txt ,在 maben.txt 文件中增加“I love cf”

[maben996@hadoop101 datas]$ touch batch.sh
[maben996@hadoop101 datas]$ vi batch.sh
# 在batch.sh中输入如下内容
#!/bin/bash
cd /home/maben996
touch maben.txt
echo "I love cf" >> maben.txt
# 执行
./batch.sh

四、Shell 中的变量

​ 系统变量

​ $HOME、$PWD、$SHELL、$USER

​ 显示当前 Shell 中所有变量：set

[atguigu@hadoop101 datas]$ set
BASH=/bin/bash
BASH_ALIASES=()
BASH_ARGC=()
BASH_ARGV=()

​ 自定义变量

​ 基本语法

​ （1）定义变量：变量=值

​ （2）撤销变量：unset 变量

​ （3）声明静态变量：readonly变量，注意：不能unset

​ 变量定义规则

​ （1）变量名称可以由字母、数字和下划线组成，但是不能以数字开头，环境变量名建议大写。

​ （2）等号两侧不能有空格

​ （3）在bash中，变量默认类型都是字符串类型，无法直接进行数值运算。

​ （4）变量的值如果有空格，需要使用双引号或单引号括起来。

​ 使用 export 变量，可把变量提升为全局环境变量，可供其他 Shell 程序使用

​ 特殊变量

​ $n （功能描述：n为数字，$0代表该脚本名称，$1-$9代表第一到第九个参数，十以上的参数，十以上的参数需要用大括号包含，如${10}）

[atguigu@hadoop101 datas]$ touch parameter.sh 
[atguigu@hadoop101 datas]$ vim parameter.sh
#!/bin/bash
echo "$0  $1   $2"
[atguigu@hadoop101 datas]$ ./parameter.sh cls  xz
./parameter.sh  cls   xz

​ $# （功能描述：获取所有输入参数个数，常用于循环）

[atguigu@hadoop101 datas]$ vim parameter.sh
#!/bin/bash
echo "$0  $1   $2"
echo $#
[atguigu@hadoop101 datas]$ ./parameter.sh cls  xz
parameter.sh cls xz 
2

​ $\ast （功能描述：这个变量代表命令行中所有的参数，$*把所有的参数看成一个整体）

​ $@（功能描述：这个变量也代表命令行中所有的参数，不过$@把每个参数区分对待）

[atguigu@hadoop101 datas]$ vim parameter.sh

#!/bin/bash
echo "$0  $1   $2"
echo $#
echo $*
echo $@

[atguigu@hadoop101 datas]$ bash parameter.sh 1 2 3
parameter.sh  1   2
3
1 2 3
1 2 3

​ $？ （功能描述：最后一次执行的命令的返回状态。如果这个变量的值为0，证明上一个命令正确执行；如果这个变量的值为非0（具体是哪个数，由命令自己来决定），则证明上一个命令执行不正确了。）

[atguigu@hadoop101 datas]$ ./helloworld.sh 
hello world
[atguigu@hadoop101 datas]$ echo $?
0

五、运算符

（1）“$((运算式))”或“$[运算式]”

（2）expr + , - , \*, /, % 加，减，乘，除，取余

​ 注意：expr 运算符间要有空格

​ 计算 （2+3）* 4 的值

[atguigu@hadoop101 datas]$ expr `expr 2 + 3` \* 4
20
[atguigu@hadoop101 datas]# S=$[(2+3)*4]
[atguigu@hadoop101 datas]# echo $S
20

六、条件判断

[ condition ]（注意 condition 前后要有空格）

注意：条件非空即为true，即 [ atguigu ] 返回true，[] 返回false。

常用判断条件

​ （1）两个整数之间比较

​ = 字符串比较

​ -lt 小于（less than） -le 小于等于（less equal）

​ -eq 等于（equal） -gt 大于（greater than）

​ -ge 大于等于（greater equal） -ne 不等于（Not equal）

​ （2）按照文件权限进行判断

​ -r 有读的权限（read） -w 有写的权限（write）

​ -x 有执行的权限（execute）

​ （3）按照文件类型进行判断

​ -f 文件存在并且是一个常规的文件（file）

​ -e 文件存在（existence） -d 文件存在并是一个目录（directory）

​ （4）多条件判断（&& 表示前一条命令执行成功，执行后一条命令，|| 表示上一条命令执行失败，执行下一条命令）

[atguigu@hadoop101 ~]$ [ condition ] && echo OK || echo notok
OK
[atguigu@hadoop101 datas]$ [ condition ] && [ ] || echo notok
notok

七、流程控制（重点）

if 判断

​ 基本语法

if [ 条件判断式 ];then 
  程序 
fi 
或者 
if [ 条件判断式 ] 
  then 
    程序 
fi

​ 注意事项：

（1）[ 条件判断式 ]，中括号和条件判断式之间必须有空格

（2）if后要有空格

#!/bin/bash
if [ $1 -eq 1 ];then
	echo "maben zhen shuai"
elif [ $1 -eq 2 ];then
	echo "cheng fan zhen mei"
fi

case 语句

​ 基本语法

case $变量名 in 
  "值1"） 
    如果变量的值等于值1，则执行程序1 
    ;; 
  "值2"） 
    如果变量的值等于值2，则执行程序2 
    ;; 
  …省略其他分支… 
  *） 
    如果变量的值都不是以上的值，则执行此程序 
    ;; 
esac

​ 注意事项：

（1）case 行尾必须为单词“in”，每一个模式匹配必须以右括号“）”结束。

（2）双分号“;;”表示命令序列结束，相当于java中 的break。

（3）最后的“*）”表示默认模式，相当于java中的default。

#!/bin/bash
case $1 in
1)
        echo "maben"
;;
2)
        echo "chengfan"
;;
*)
        echo "forever"
;;
esac

for 循环

​ 基本语法一

for (( 初始值;循环控制条件;变量变化 )) 
  do 
    程序 
  done

​ 计算 1加到100 的值并输出

#!/bin/bash
s=0
for ((i=1;i<=100;i++))
do
        s=$[$s+$i]
done
echo $s

​ 基本语法二

for 变量 in 值1 值2 值3… 
  do 
    程序 
  done

​ 循环输出语句，对比$\ast 和$@ 的不同

#!/bin/bash
for i in "$*"
do
        echo "maben love $i"
done
for j in "$@"
do
        echo "maben love $j"
done

# 结果
[maben996@hadoop003 datas]$ ./for2.sh chengfan everyone
maben love chengfan everyone
maben love chengfan
maben love everyone

​ $\ast 和$@都表示传递给函数或脚本的所有参数，不被双引号“”包含时，都以$1 $2\dots$n的形式输出所有参数。*

​ 当它们被双引号“”包含时，“$*”会将所有的参数作为一个整体，以“$1 $2\dots$n”的形式输出所有参数；“$@”会将各个参数分开，以“$1” “$2”\dots ”$n”的形式输出所有参数。

while 循环

​ 基本语法

while [ 条件判断式 ] 
  do 
    程序
  done

​ 计算 1加到100并输出

#!/bin/bash
s=0
i=1
while [ $i -le 100 ]
do
        s=$[ $s + $i ]
        i=$[ $i + 1 ]
done
echo $s

八、read 读取控制台输入

​ 基本语法

​ read(选项)(参数)

​ 选项：

​ -p：指定读取值时的提示符；

​ -t：指定读取值时等待的时间（秒）。

​ 参数

​ 变量：指定读取值的变量名

​ 请输入你的名字等待 7 秒

#!/bin/bash
read -t 7 -p "请输入你的名字：" NAME
echo $NAME

九、函数

系统函数

​ basename 基本语法

​ basename [string / pathname] [suffix]

​ （功能描述：basename 命令会删掉所有的前缀包括最后一个（‘/’）字符，然后将字符串显示出来。

​ 选项：

​ suffix 为后缀，如果suffix 被指定了，basename 会将 pathname 或 string 中的 suffix 去掉。

# 截取该/home/atguigu/banzhang.txt路径的文件名称
[atguigu@hadoop101 datas]$ basename /home/atguigu/banzhang.txt 
banzhang.txt
# 截取该/home/atguigu/banzhang.txt路径的文件名称，并去掉.txt 后缀
[atguigu@hadoop101 datas]$ basename /home/atguigu/banzhang.txt .txt
banzhang

​ dirname 基本语法

​ dirname 文件绝对路径

​ （功能描述：从给定的包含绝对路径的文件名中去除文件名（非目录的部分），然后返回剩下的路径（目录的部分））

# 获取 banzhang.txt 文件的路径
[atguigu@hadoop101 ~]$ dirname /home/atguigu/banzhang.txt 
/home/atguigu

自定义函数

​ 基本语法

[ function ] funname[()]
{
	Action;
	[return int;]
}
funname

​ （1）必须在调用函数地方之前，先声明函数，shell 脚本是逐行运行。不会像其它语言一样先编译。

​ （2）函数返回值，只能通过$?系统变量获得，可以显示加：return 返回，如果不加，将以最后一条命令运行结果，作为返回值。return 后跟数值n(0-255)。

​ 输入两个参数，求和并输出

#!/bin/bash
function sum()
{
        s=0
        s=$[$1+$2]
        echo $s
}
read -p "input your paratemer1:" P1
read -p "input your paratemer2:" P2
sum $P1 $P2

十、Shell 工具（重要）

cut

​ cut 的工作就是“剪”，具体的说就是在文件中负责剪切数据用的。cut 命令从文件的每一行剪切字节、字符和字段并将这些字节、字符和字段输出。

​ 基本语法：cut [选项参数] filename

​ 说明：默认分隔符是制表符

​ 参数说明：-f : 列号，提取第几列

​ -d： 分隔符，按照指定分隔符分割列

案例

# 已有文件cut.txt 
[atguigu@hadoop101 datas]$ touch cut.txt
[atguigu@hadoop101 datas]$ vim cut.txt
dong shen
guan zhen
wo  wo
lai  lai
le  le

1. 切割 cut.txt 第一列

[atguigu@hadoop101 datas]$ cut -d " " -f 1 cut.txt 
dong
guan
wo
lai
le

2. 切割cut.txt第二、三列

[atguigu@hadoop101 datas]$ cut -d " " -f 2,3 cut.txt 
shen
zhen
 wo
 lai
 le

3. 在cut.txt文件中切割出guan

[atguigu@hadoop101 datas]$ cat cut.txt | grep "guan" | cut -d " " -f 1
guan

4. 选取系统PATH变量值，第2个“：”开始后的所有路径：

[atguigu@hadoop101 datas]$ echo $PATH
/usr/lib64/qt-3.3/bin:/usr/local/bin:/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/sbin:/home/atguigu/bin

[atguigu@hadoop102 datas]$ echo $PATH | cut -d: -f 2-
/usr/local/bin:/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/sbin:/home/atguigu/bin

5. 切割ifconfig 后打印的IP地址

[maben996@hadoop003 datas]$ ifconfig eth0
eth0      Link encap:Ethernet  HWaddr 00:0C:29:A3:CB:57  
          inet addr:192.168.12.24  Bcast:192.168.12.255  Mask:255.255.255.0
          inet6 addr: fe80::20c:29ff:fea3:cb57/64 Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:6518 errors:0 dropped:0 overruns:0 frame:0
          TX packets:3890 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000 
          RX bytes:549439 (536.5 KiB)  TX bytes:536524 (523.9 KiB)
[maben996@hadoop003 datas]$ ifconfig eth0 | grep "inet addr"|cut -d : -f 2| cut -d " " -f 1
192.168.12.24

sed

​ sed 是一种流编辑器，它一次处理一行内容。处理时，把当前处理的行存储在临时缓冲区中，称为“模式空间”，接着用 sed 命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕。接着处理下一行，这样不断重复，直到文件末尾。文件内容并没有改变，除非你使用重定向存储输出。

​ 基本用法

​ sed [选项参数] ‘command’ filename

​ 参数说明

​ -e：直接在指令模式上进行 sed 的动作编辑

​ -a：新增，a的后面可以接字串，在下一行出现

​ -d： 删除

​ -s：查找并替换

​ 数据准备

[maben996@hadoop003 datas]$ touch sed.sh
[maben996@hadoop003 datas]$ vim sed.sh
dong shen
guan zhen
wo  wo
lai  lai

le  le

​ 将“mei nv”这个单词插入到sed.txt第二行下，打印

[maben996@hadoop003 datas]$ sed '2a mei nv' sed.sh 
dong shen
guan zhen
mei nv
wo  wo
lai  lai

le  le

​ 删除 sed.txt 文件所有包含 wo 的行

[maben996@hadoop003 datas]$ sed '/wo/d' sed.sh 
dong shen
guan zhen
lai  lai

le  le

​ 将 sed.txt 文件中 wo 替换为 ni

[maben996@hadoop003 datas]$ sed 's/wo/ni/g' sed.txt 
dong shen
guan zhen
ni  ni
lai  lai

le  le

​ 注意：‘g’ 表示 global，全部替换

​ 将s ed.txt 文件中的第二行删除并将 wo 替换为 ni

[maben996@hadoop003 datas]$ sed -e '2d' -e 's/wo/ni/g' sed.txt 
dong shen
ni  ni
lai  lai

le  le

awk

​ 一个强大的文本分析工具，把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行分析处理。

​ 基本用法

​ awk [选项参数] ‘pattern1{action1} pattern2{action2}…’ filename

​ pattern：表示AWK在数据中查找的内容，就是匹配模式，可以使用正则表达式。

​ action：在找到匹配内容时所执行的一系列命令。

​ 参数说明：

​ -F ：指定输入文件折分隔符

​ -v ：赋值一个用户定义变量

​ 数据准备

[maben996@hadoop003 datas]$ sudo cp /etc/passwd ./
[maben996@hadoop003 datas]$ cat passwd 
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
sync:x:5:0:sync:/sbin:/bin/sync
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
halt:x:7:0:halt:/sbin:/sbin/halt

​ 1. 搜索passwd文件以root关键字开头的所有行，并输出该行的第7列

[maben996@hadoop003 datas]$ awk -F : '/^root/ {print $7}' passwd
/bin/bash

​ 2. 搜索passwd文件以root关键字开头的所有行，并输出该行的第1列和第7列，中间以“，”号分割。

[maben996@hadoop003 datas]$ awk -F : '/^root/ {print $1","$7}' passwd
root,/bin/bash

​ 注意：只有匹配了pattern的行才会执行action

​ 3. 只显示 /etc/passwd 的第一列和第七列，以逗号分割，且在所有行前面添加列名 user，shell 在最后一行添加"maben，/bin/zuishuai"。

awk -F : 'BEGIN{print "user,shell"} {print $1","$7} END{print "maben,/bin/zuishai"}' passwd

​ 注意：BEGIN 在所有数据读取行之前执行；END 在所有数据执行之后执行。

​ 4. 将passwd文件中的用户 id 增加数值 1 并输出

[maben996@hadoop003 datas]$ awk -F : -v i=1 '{print $3+i}' passwd

​ awk的内置变量

变量	说明
FILENAME	文件名
NR	已读的记录数 (行的个数)
NF	浏览记录的域的个数（切割后，列的个数）

​ 统计passwd文件名，每行的行号，每行的列数

[maben996@hadoop003 datas]$ awk -F : '{print FILENAME "," NR "," NF}' passwd 

​ 切割 ifconfig 的 ip 地址

[maben996@hadoop003 datas]$ ifconfig eth0 | grep "inet addr" | awk -F : '{print $2}' | awk -F " " '{print $1}'

​ 查询 sed.txt 中空行所在的行号

dong shen
guan zhen
wo  wo
lai  lai

le  le

[maben996@hadoop003 datas]$ awk '/^$/{print NR}' sed.txt 
5
7

sort

​ sort命令是在Linux里非常有用，它将文件进行排序，并将排序结果标准输出。

​ 基本语法

​ sort(选项)(参数)

选项	说明
-n	依照数值的大小排序
-r	以相反的顺序来排序
-t	设置排序时所用的分隔字符
-k	指定需要排序的列

​ 参数：指定待排序的文件列表

​ 数据准备

[maben996@hadoop003 datas]$ touch sort.sh
[maben996@hadoop003 datas]$ vim sort.sh
bb:40:5.4
bd:20:4.2
xz:50:2.3
cls:10:3.5
ss:30:1.6

​ 1. 按照“：”分割后的第三列倒序排序

[maben996@hadoop003 datas]$ sort -t : -nrk 3 sort.sh 
bb:40:5.4
bd:20:4.2
cls:10:3.5
xz:50:2.3
ss:30:1.6

wc

​ wc命令用来计算数字。利用wc指令我们可以计算文件的Byte数、字数或是列数，若不指定文件名称，或是所给予的文件名为“-”，则wc指令会从标准输入设备读取数据。

​ 基本用法：

​ wc [选项参数] filename

​ 选项参数：

选项参数	功能
-l	统计文件行数
-w	统计文件的单词数
-m	统计文件的字符数
-c	统计文件的字节数

​ 统计redis_6379.conf文件的行数、单词数、字节数！

[root@0725pc myredis]# ll | grep redis_6379.conf
-rw-r--r--. 1 root root      188 10月  9 15:33 redis_6379.conf
[root@0725pc myredis]# cat -n redis_6379.conf 
     1	include /root/myredis/redis.conf
     2	pidfile "/var/run/redis_6379.pid"
     3	port 6379
     4	dbfilename "dump_6379.rdb"
     5	cluster-enabled yes
     6	cluster-config-file nodes-6379.conf
     7	cluster-node-timeout 15000
     8	
[root@0725pc myredis]# wc -w redis_6379.conf 
14 redis_6379.conf
[root@0725pc myredis]# wc -l redis_6379.conf 
8 redis_6379.conf
[root@0725pc myredis]# wc -m redis_6379.conf 
188 redis_6379.conf