linux 常用命令 shell

awk

假设last -n 5的输出如下

[root@www ~]# last -n 5 <==仅取出前五行
root     pts/1   192.168.1.100  Tue Feb 10 11:21   still logged in
root     pts/1   192.168.1.100  Tue Feb 10 00:46 - 02:28  (01:41)
root     pts/1   192.168.1.100  Mon Feb  9 11:41 - 18:30  (06:48)
dmtsai   pts/1   192.168.1.100  Mon Feb  9 11:41 - 11:41  (00:00)
root     tty1                   Fri Sep  5 14:09 - 14:10  (00:01)

如果只是显示最近登录的5个帐号

#last -n 5 | awk  '{print $1}'
root
root
root
dmtsai
root

awk工作流程是这样的：读入有'\n'换行符分割的一条记录，然后将记录按指定的域分隔符划分域，填充域，$0则表示所有域,$1表示第一个域,$n表示第n个域。默认域分隔符是"空白键" 或 "[tab]键",所以$1表示登录用户，$3表示登录用户ip,以此类推。

 

如果只是显示/etc/passwd的账户

#cat /etc/passwd |awk  -F ':'  '{print $1}'  
root
daemon
bin
sys

这种是awk+action的示例，每行都会执行action{print $1}。

-F指定域分隔符为':'。

 

如果只是显示/etc/passwd的账户和账户对应的shell,而账户与shell之间以tab键分割

#cat /etc/passwd |awk  -F ':'  '{print $1"\t"$7}'
root    /bin/bash
daemon  /bin/sh
bin     /bin/sh
sys     /bin/sh

 

如果只是显示/etc/passwd的账户和账户对应的shell,而账户与shell之间以逗号分割,而且在所有行添加列名name,shell,在最后一行添加"blue,/bin/nosh"。

cat /etc/passwd |awk  -F ':'  'BEGIN {print "name,shell"}  {print $1","$7} END {print "blue,/bin/nosh"}'
name,shell
root,/bin/bash
daemon,/bin/sh
bin,/bin/sh
sys,/bin/sh
....
blue,/bin/nosh

awk工作流程是这样的：先执行BEGING，然后读取文件，读入有/n换行符分割的一条记录，然后将记录按指定的域分隔符划分域，填充域，$0则表示所有域,$1表示第一个域,$n表示第n个域,随后开始执行模式所对应的动作action。接着开始读入第二条记录······直到所有的记录都读完，最后执行END操作。

 

搜索/etc/passwd有root关键字的所有行

#awk -F: '/root/' /etc/passwd
root:x:0:0:root:/root:/bin/bash

这种是pattern的使用示例，匹配了pattern(这里是root)的行才会执行action(没有指定action，默认输出每行的内容)。

搜索支持正则，例如找root开头的: awk -F: '/^root/' /etc/passwd

 

搜索/etc/passwd有root关键字的所有行，并显示对应的shell

# awk -F: '/root/{print $7}' /etc/passwd             
/bin/bash

 这里指定了action{print $7}

 

awk内置变量

awk有许多内置变量用来设置环境信息，这些变量可以被改变，下面给出了最常用的一些变量。

ARGC               命令行参数个数
ARGV               命令行参数排列
ENVIRON            支持队列中系统环境变量的使用
FILENAME           awk浏览的文件名
FNR                浏览文件的记录数
FS                 设置输入域分隔符，等价于命令行 -F选项
NF                 浏览记录的域的个数
NR                 已读的记录数
OFS                输出域分隔符
ORS                输出记录分隔符
RS                 控制记录分隔符

 此外,$0变量是指整条记录。$1表示当前行的第一个域,$2表示当前行的第二个域,......以此类推。

 

统计/etc/passwd:文件名，每行的行号，每行的列数，对应的完整行内容:

#awk  -F ':'  '{print "filename:" FILENAME ",linenumber:" NR ",columns:" NF ",linecontent:"$0}' /etc/passwd
filename:/etc/passwd,linenumber:1,columns:7,linecontent:root:x:0:0:root:/root:/bin/bash
filename:/etc/passwd,linenumber:2,columns:7,linecontent:daemon:x:1:1:daemon:/usr/sbin:/bin/sh
filename:/etc/passwd,linenumber:3,columns:7,linecontent:bin:x:2:2:bin:/bin:/bin/sh
filename:/etc/passwd,linenumber:4,columns:7,linecontent:sys:x:3:3:sys:/dev:/bin/sh

 

使用printf替代print,可以让代码更加简洁，易读

 awk  -F ':'  '{printf("filename:%10s,linenumber:%s,columns:%s,linecontent:%s\n",FILENAME,NR,NF,$0)}' /etc/passwd

 

print和printf

awk中同时提供了print和printf两种打印输出的函数。

其中print函数的参数可以是变量、数值或者字符串。字符串必须用双引号引用，参数用逗号分隔。如果没有逗号，参数就串联在一起而无法区分。这里，逗号的作用与输出文件的分隔符的作用是一样的，只是后者是空格而已。

printf函数，其用法和c语言中printf基本相似,可以格式化字符串,输出复杂时，printf更加好用，代码更易懂。

 

sed

假设last -n 5的输出如下

[root@www ~]# last -n 5 <==仅取出前五行
root     pts/1   192.168.1.100  Tue Feb 10 11:21   still logged in
root     pts/1   192.168.1.100  Tue Feb 10 00:46 - 02:28  (01:41)
root     pts/1   192.168.1.100  Mon Feb  9 11:41 - 18:30  (06:48)
dmtsai   pts/1   192.168.1.100  Mon Feb  9 11:41 - 11:41  (00:00)
root     tty1                   Fri Sep  5 14:09 - 14:10  (00:01)

如果只是显示最近登录的5个帐号

#last -n 5 | awk  '{print $1}'
root
root
root
dmtsai
root

awk工作流程是这样的：读入有'\n'换行符分割的一条记录，然后将记录按指定的域分隔符划分域，填充域，$0则表示所有域,$1表示第一个域,$n表示第n个域。默认域分隔符是"空白键" 或 "[tab]键",所以$1表示登录用户，$3表示登录用户ip,以此类推。

 

如果只是显示/etc/passwd的账户

#cat /etc/passwd |awk  -F ':'  '{print $1}'  
root
daemon
bin
sys

这种是awk+action的示例，每行都会执行action{print $1}。

-F指定域分隔符为':'。

 

如果只是显示/etc/passwd的账户和账户对应的shell,而账户与shell之间以tab键分割

#cat /etc/passwd |awk  -F ':'  '{print $1"\t"$7}'
root    /bin/bash
daemon  /bin/sh
bin     /bin/sh
sys     /bin/sh

 

如果只是显示/etc/passwd的账户和账户对应的shell,而账户与shell之间以逗号分割,而且在所有行添加列名name,shell,在最后一行添加"blue,/bin/nosh"。

cat /etc/passwd |awk  -F ':'  'BEGIN {print "name,shell"}  {print $1","$7} END {print "blue,/bin/nosh"}'
name,shell
root,/bin/bash
daemon,/bin/sh
bin,/bin/sh
sys,/bin/sh
....
blue,/bin/nosh

awk工作流程是这样的：先执行BEGING，然后读取文件，读入有/n换行符分割的一条记录，然后将记录按指定的域分隔符划分域，填充域，$0则表示所有域,$1表示第一个域,$n表示第n个域,随后开始执行模式所对应的动作action。接着开始读入第二条记录······直到所有的记录都读完，最后执行END操作。

 

搜索/etc/passwd有root关键字的所有行

#awk -F: '/root/' /etc/passwd
root:x:0:0:root:/root:/bin/bash

这种是pattern的使用示例，匹配了pattern(这里是root)的行才会执行action(没有指定action，默认输出每行的内容)。

搜索支持正则，例如找root开头的: awk -F: '/^root/' /etc/passwd

 

搜索/etc/passwd有root关键字的所有行，并显示对应的shell

# awk -F: '/root/{print $7}' /etc/passwd             
/bin/bash

 这里指定了action{print $7}

 

awk内置变量

awk有许多内置变量用来设置环境信息，这些变量可以被改变，下面给出了最常用的一些变量。

ARGC               命令行参数个数
ARGV               命令行参数排列
ENVIRON            支持队列中系统环境变量的使用
FILENAME           awk浏览的文件名
FNR                浏览文件的记录数
FS                 设置输入域分隔符，等价于命令行 -F选项
NF                 浏览记录的域的个数
NR                 已读的记录数
OFS                输出域分隔符
ORS                输出记录分隔符
RS                 控制记录分隔符

 此外,$0变量是指整条记录。$1表示当前行的第一个域,$2表示当前行的第二个域,......以此类推。

 

统计/etc/passwd:文件名，每行的行号，每行的列数，对应的完整行内容:

#awk  -F ':'  '{print "filename:" FILENAME ",linenumber:" NR ",columns:" NF ",linecontent:"$0}' /etc/passwd
filename:/etc/passwd,linenumber:1,columns:7,linecontent:root:x:0:0:root:/root:/bin/bash
filename:/etc/passwd,linenumber:2,columns:7,linecontent:daemon:x:1:1:daemon:/usr/sbin:/bin/sh
filename:/etc/passwd,linenumber:3,columns:7,linecontent:bin:x:2:2:bin:/bin:/bin/sh
filename:/etc/passwd,linenumber:4,columns:7,linecontent:sys:x:3:3:sys:/dev:/bin/sh

 

使用printf替代print,可以让代码更加简洁，易读

 awk  -F ':'  '{printf("filename:%10s,linenumber:%s,columns:%s,linecontent:%s\n",FILENAME,NR,NF,$0)}' /etc/passwd

 

print和printf

awk中同时提供了print和printf两种打印输出的函数。

其中print函数的参数可以是变量、数值或者字符串。字符串必须用双引号引用，参数用逗号分隔。如果没有逗号，参数就串联在一起而无法区分。这里，逗号的作用与输出文件的分隔符的作用是一样的，只是后者是空格而已。

printf函数，其用法和c语言中printf基本相似,可以格式化字符串,输出复杂时，printf更加好用，代码更易懂。

 

1.3 sed实例

# cat testfile

northwest       NW    Charles Main         3.0     .98     3       34

western         WE    Sharon Gray          5.3     .97     5       23

southwest       SW    Lewis Dalsass        2.7     .8      2       18

southern        SO    Suan Chin            5.1     .95     4       15

southeast       SE    Patricia Hemenway    4.0     .7      4       17

eastern         EA    TB Savage            4.4     .84     5       20

northeast       NE    AM Main Jr.          5.1     .94     3       13

north           NO     Margot Weber         4.5    .89      5       9

central         CT    Ann Stephens         5.7     .94     5       13

实例1.1：如果模板north被找到，sed除了打印所有行之外，还有打印匹配行。

# sed '/north/p' testfile

northwest       NW    Charles Main         3.0     .98    3       34

northwest       NW    Charles Main         3.0     .98    3       34

western         WE    Sharon Gray          5.3     .97    5       23

southwest       SW    Lewis Dalsass        2.7     .8     2       18

southern        SO    Suan Chin            5.1     .95    4       15

southeast       SE    Patricia Hemenway    4.0     .7     4       17

eastern         EA    TB Savage            4.4     .84    5       20

northeast       NE    AM Main Jr.          5.1     .94    3       13

northeast       NE    AM Main Jr.          5.1     .94    3       13

north           NO     Margot Weber         4.5    .89     5       9

north           NO     Margot Weber         4.5    .89     5       9

central         CT    Ann Stephens         5.7     .94    5       13

实例1.2：-n选项取消了sed的默认行为。在没有-n的时候，包含模板的行被打印两次，但是在使用-n的时候将只打印包含模板的行。

# sed -n '/north/p' testfile 

northwest       NW    Charles Main         3.0     .98    3       34

northeast       NE    AM Main Jr.          5.1     .94    3       13

north           NO     Margot Weber         4.5    .89     5       9

实例：列出第5-7行

# nl testfile |sed -n '5,7p'

     5 southeast       SE     Patricia Hemenway    4.0    .7      4       17

     6 eastern         EA     TB Savage            4.4     .84    5       20

     7 northeast       NE     AM Main Jr.          5.1     .94    3       13

实例2.1：删除第三行，其他行默认输出到屏幕。

# nl testfile |sed '3d'

     1 northwest       NW     Charles Main         3.0    .98     3       34

     2 western         WE     Sharon Gray          5.3     .97    5       23

     4 southern        SO     Suan Chin            5.1     .95    4       15

     5 southeast       SE     Patricia Hemenway    4.0    .7      4       17

     6 eastern         EA     TB Savage            4.4     .84    5       20

     7 northeast       NE     AM Main Jr.          5.1     .94    3       13

     8 north           NO     Margot Weber         4.5    .89     5       9

     9 central         CT     Ann Stephens         5.7    .94     5       13

实例2.2：删除2~5行

# nl testfile |sed '2,5d'

     1 northwest       NW     Charles Main         3.0    .98     3       34

     6 eastern         EA     TB Savage            4.4     .84    5       20

     7 northeast       NE     AM Main Jr.          5.1     .94    3       13

     8 north           NO    Margot Weber         4.5     .89    5       9

     9 central         CT     Ann Stephens         5.7    .94     5       13

实例2.3：从第三行删除到最后一行，其他行被打印。$表示最后一行。

# nl testfile |sed '3,$d'

     1 northwest       NW     Charles Main         3.0    .98     3      34

     2 western         WE     Sharon Gray          5.3     .97    5       23

实例2.4：删除最后一行，其他行打印。

# nl testfile |sed '$d'

     1 northwest       NW     Charles Main         3.0    .98     3       34

     2 western         WE     Sharon Gray          5.3     .97    5       23

     3 southwest       SW     Lewis Dalsass        2.7    .8      2       18

     4 southern        SO     Suan Chin            5.1     .95    4       15

     5 southeast       SE     Patricia Hemenway    4.0    .7      4       17

     6 eastern         EA     TB Savage            4.4     .84    5       20

     7 northeast       NE     AM Main Jr.          5.1     .94    3       13

     8 north           NO     Margot Weber         4.5    .89     5       9

实例2.5：删除所有包含north的行，其他行打印。

# nl testfile |sed '/north/d' 

     2 western         WE     Sharon Gray          5.3     .97    5       23

     3 southwest       SW     Lewis Dalsass        2.7    .8      2       18

     4 southern        SO     Suan Chin            5.1     .95    4       15

     5 southeast       SE     Patricia Hemenway    4.0    .7      4       17

     6 eastern         EA     TB Savage            4.4     .84    5       20

     9 central         CT     Ann Stephens         5.7    .94     5       13

实例3.1：在第二行后（即加在第三行）加上"United States"。

# nl testfile|sed '2a United States'

     1 northwest       NW     Charles Main         3.0    .98     3       34

     2 western         WE     Sharon Gray          5.3     .97    5       23

United States

     3 southwest       SW     Lewis Dalsass        2.7    .8      2       18

     4 southern        SO     Suan Chin            5.1     .95    4       15

     5 southeast       SE     Patricia Hemenway    4.0    .7      4       17

     6 eastern         EA     TB Savage            4.4     .84    5       20

     7 northeast       NE     AM Main Jr.          5.1     .94    3       13

     8 north           NO    Margot Weber         4.5     .89    5       9

     9 central         CT     Ann Stephens         5.7    .94     5       13

如果要在第二行前加，则命令为

# nl testfile|sed '2i United States'

实例3.2：在第二行后加上两行文本。

# nl testfile|sed '2a United States \
> America'

     1 northwest       NW     Charles Main         3.0    .98     3       34

     2 western         WE     Sharon Gray          5.3     .97    5       23

United States

America

     3 southwest       SW     Lewis Dalsass        2.7    .8      2       18

     4 southern        SO     Suan Chin            5.1     .95    4       15

     5 southeast       SE     Patricia Hemenway    4.0    .7      4       17

     6 eastern         EA    TB Savage            4.4     .84    5       20

     7 northeast       NE     AM Main Jr.          5.1     .94    3       13

     8 north           NO     Margot Weber         4.5    .89     5       9

     9 central         CT     Ann Stephens         5.7    .94     5       13

若要新增两行，则每一行之间都必须要以反斜线“\”来进行新行的增加。

实例4.1：将第2~5行的内容取代为“No 2-5 number”。

# nl testfile|sed '2,5c No 2-5 number'

     1 northwest       NW     Charles Main         3.0    .98     3       34

No 2-5 number

     6 eastern         EA     TB Savage            4.4     .84    5       20

     7 northeast       NE     AM Main Jr.          5.1     .94    3       13

     8 north           NO     Margot Weber         4.5    .89     5       9

     9 central         CT     Ann Stephens         5.7    .94     5       13

实例4.2：s表示替换，g表示命令作用于整个当前行。如果该行存在多个west，都将被替换为north，如果没有g，则只是替换第一个匹配。

格式：sed 's/要替换的字符串/新的字符串/g'

# nl testfile |sed 's/west/north/g'

     1 northnorth       NW     Charles Main         3.0    .98     3       34

     2 northern         WE     Sharon Gray          5.3     .97    5       23

     3 southnorth       SW     Lewis Dalsass        2.7    .8      2       18

     4 southern        SO     Suan Chin            5.1     .95    4       15

     5 southeast       SE     Patricia Hemenway    4.0    .7      4       17

     6 eastern         EA     TB Savage            4.4     .84    5       20

     7 northeast       NE     AM Main Jr.          5.1     .94    3       13

     8 north           NO     Margot Weber         4.5    .89     5       9

     9 central         CT     Ann Stephens         5.7    .94     5       13

实例4.3：-n表示只打印匹配行，如果某一行的开头是west，则替换为north。

# sed -n 's/^west/north/p' testfile 

northern         WE    Sharon Gray          5.3     .97    5       23

实例3.3：&符号表示替换字符串中被找到的部分。所有以两个数字结束的行，最后的数字都将被它们自己替换，同时追加.5。

# nl testfile |sed 's/[0-9][0-9]$/&.5/'

     1 northwest       NW     Charles Main         3.0    .98     3       34.5

     2 western         WE     Sharon Gray          5.3     .97    5       23.5

     3 southwest       SW     Lewis Dalsass        2.7    .8      2       18.5

     4 southern        SO     Suan Chin            5.1     .95    4       15.5

     5 southeast       SE     Patricia Hemenway    4.0    .7      4       17.5

     6 eastern         EA     TB Savage            4.4     .84    5       20.5

     7 northeast       NE     AM Main Jr.          5.1     .94    3       13.5

     8 north           NO     Margot Weber         4.5    .89     5       9

     9 central         CT     Ann Stephens         5.7    .94     5       13.5

实例4.4：所有的Hemenway被替换为Jones。-n选项加p命令则表示只打印匹配行。

# nl testfile |sed -n 's/Hemenway/Jones/gp'

     5 southeast       SE     Patricia Jones    4.0    .7      4       17

实例3.5：模板Mar被包含在一对括号中，并在特殊的寄存器中保存为tag 1，它将在后面作为\1替换字符串，Margot被替换为Marlianne。 

# nl testfile |sed -n 's/MarMargot/\1lianne/p'

     8 north           NO     Marlianne Weber         4.5    .89     5       9

实例4.5：s后面的字符一定是分隔搜索字符串和替换字符串的分隔符，默认为斜杠，但是在s命令使用的情况下可以改变。不论什么字符紧跟着s命令都认为是新的分隔符。这个技术在搜索含斜杠的模板时非常有用，例如搜索时间和路径的时候。

# sed 's#3#88#g' testfile

northwest       NW    Charles Main         88.0     .98    88       884

western         WE    Sharon Gray          5.88     .97    5       288

southwest       SW    Lewis Dalsass        2.7     .8     2       18

southern        SO    Suan Chin            5.1     .95    4       15

southeast       SE    Patricia Hemenway    4.0     .7     4       17

eastern         EA    TB Savage            4.4     .84    5       20

northeast       NE    AM Main Jr.          5.1     .94    88       188

north           NO     Margot Weber         4.5    .89     5       9

central         CT    Ann Stephens         5.7     .94    5       188

# sed 's@3@88@g'testfile

northwest       NW    Charles Main         88.0     .98    88       884

western         WE    Sharon Gray          5.88     .97    5       288

southwest       SW    Lewis Dalsass        2.7     .8     2       18

southern        SO    Suan Chin            5.1     .95    4       15

southeast       SE    Patricia Hemenway    4.0     .7     4       17

eastern         EA    TB Savage            4.4     .84    5       20

northeast       NE    AM Main Jr.          5.1     .94    88       188

north           NO     Margot Weber         4.5    .89     5       9

central         CT    Ann Stephens         5.7     .94    5       188

实例4.6：所有在模板west和east所确定的范围内的行都被打印，如果west出现在east后面的行中，从west开始到下一个east，无论这个 east出现在哪里，二者之间的行都被打印，即使从west开始到文件的末尾还没有出现east，那么从west到末尾的所有行都将打印。

# nl testfile |sed -n '/south/,/east/p'

     3 southwest       SW     Lewis Dalsass        2.7    .8      2      18

     4 southern        SO     Suan Chin            5.1     .95    4       15

     5 southeast       SE     Patricia Hemenway    4.0    .7      4       17

实例4.7：打印从第五行开始到第一个以northeast开头的行之间的所有行。

# sed -n '5,/^northeast/p' testfile

southeast       SE    Patricia Hemenway    4.0     .7     4       17

eastern         EA    TB Savage            4.4     .84    5       20

northeast       NE    AM Main Jr.          5.1     .94    3       13

实例4.8：-e选项表示多点编辑。第一个编辑命令是删除第一到第三行。第二个编辑命令是用Jones替换Hemenway。

# nl testfile |sed -e '1,3d' -e 's/Hemenway/Jones/'

     4 southern        SO     Suan Chin            5.1     .95    4       15

     5 southeast       SE     Patricia Jones    4.0    .7      4       17

     6 eastern         EA     TB Savage            4.4     .84    5       20

     7 northeast       NE     AM Main Jr.          5.1     .94    3       13

     8 north           NO     Margot Weber         4.5    .89     5       9

     9 central         CT    Ann Stephens         5.7     .94    5       13

实例4.9：将所有匹配含有north的行写入newfile中。

# sed -n'/north/w newfile' testfile

# cat newfile

northwest       NW    Charles Main         3.0     .98    3       34

northeast       NE    AM Main Jr.          5.1    .94     3       13

north           NO     Margot Weber         4.5    .89     5       9

实例4.10：i是插入命令，在匹配模式行前插入文本。

# sed'/eastern/i\NEW ENGLAND REGION' testfile 

northwest       NW    Charles Main         3.0     .98    3       34

western         WE    Sharon Gray          5.3     .97    5       23

southwest       SW    Lewis Dalsass        2.7     .8     2       18

southern        SO    Suan Chin            5.1     .95    4       15

southeast       SE    Patricia Hemenway    4.0     .7     4       17

NEW ENGLAND REGION

eastern         EA    TB Savage            4.4     .84    5       20

northeast       NE    AM Main Jr.          5.1     .94    3       13

north           NO     Margot Weber         4.5    .89     5       9

central         CT    Ann Stephens         5.7     .94    5       13

实例5.1：找到匹配模式eastern的行后，执行后面花括号中的一组命令，每个命令之间用逗号分隔，n表示定位到匹配行的下一行，s/AM/Archie/完成Archie到AM的替换，p和-n选项的合用，则只是打印作用到的行。

# sed -n '/eastern/{n;s/AM/Archie/;p}' testfile

northeast       NE    Archie Main Jr.          5.1     .94    3       13

实例：-e表示多点编辑，第一个编辑命令y将前三行中的所有小写字母替换为大写字母，-n表示不显示替换后的输出，第二个编辑命令将只是打印输出转换后的前三行。注意y不能用于正则。

# sed -n -e'1,3y/abcdefghijklmnopqrstuvwxyz/ABCDEFGHIJKLMNOPQRSTUVWXYZ/' -e '1,3p'testfile

NORTHWEST       NW    CHARLES MAIN         3.0     .98    3       34

WESTERN         WE    SHARON GRAY          5.3     .97    5       23

SOUTHWEST       SW    LEWIS DALSASS        2.7     .8     2       18

实例：打印完第二行后退出。

# sed '2q'testfile

northwest       NW    Charles Main         3.0    .98     3       34

western         WE    Sharon Gray          5.3     .97    5       23

实例：当模板Lewis在某一行被匹配，替换命令首先将Lewis替换为Joseph，然后再用q退出sed。

# sed '/Lewis/{s/Lewis/Joseph/;q;}' testfile

northwest       NW    Charles Main         3.0     .98    3       34

western         WE    Sharon Gray          5.3     .97    5       23

southwest       SW    Joseph Dalsass        2.7     .8     2       18

实例：在sed处理文件的时候，每一行都被保存在pattern space的临时缓冲区中。除非行被删除或者输出被取消，否则所有被处理过的行都将打印在屏幕上。接着pattern space被清空，并存入新的一行等待处理。在下面的例子中，包含模板的northeast行被找到，并被放入pattern space中，h命令将其复制并存入一个称为holding buffer的特殊缓冲区内。在第二个sed编辑命令中，当达到最后一行后，G命令告诉sed从holding buffer中取得该行，然后把它放回到pattern space中，且追加到现在已经存在于模式空间的行的末尾。

# sed -e '/northeast/h' -e '$G' testfile

northwest       NW    Charles Main         3.0     .98    3       34

western         WE    Sharon Gray          5.3     .97    5       23

southwest       SW    Lewis Dalsass        2.7     .8     2       18

southern        SO    Suan Chin            5.1     .95    4       15

southeast       SE    Patricia Hemenway    4.0     .7     4       17

eastern         EA    TB Savage            4.4     .84    5       20

northeast       NE    AM Main Jr.          5.1     .94    3       13

north           NO     Margot Weber         4.5    .89     5       9

central         CT    Ann Stephens         5.7     .94    5       13

northeast       NE    AM Main Jr.          5.1     .94    3       13

实例：如果模板WE在某一行被匹配，h命令将使得该行从pattern space中复制到holding buffer中，d命令在将该行删除，因此WE匹配行没有在原来的位置被输出。第二个命令搜索CT，一旦被找到，G命令将从holding buffer中取回行，并追加到当前pattern space的行末尾。简单的说，WE所在的行被移动并追加到包含CT行的后面。

# sed -e '/WE/{h;d;}' -e '/CT/{G;}' testfile

northwest       NW    Charles Main         3.0     .98    3       34

southwest       SW    Lewis Dalsass        2.7     .8     2       18

southern        SO    Suan Chin            5.1     .95    4       15

southeast       SE    Patricia Hemenway    4.0     .7     4       17

eastern         EA    TB Savage            4.4     .84    5       20

northeast       NE    AM Main Jr.          5.1     .94    3       13

north           NO     Margot Weber         4.5    .89     5       9

central         CT    Ann Stephens         5.7     .94    5       13

western         WE    Sharon Gray          5.3     .97    5       23

实例：第一个命令将匹配northeast的行从pattern space复制到holding buffer，第二个命令在读取的文件的末尾时，g命令告诉sed从holding buffer中取得行，并把它放回到pattern space中，以替换已经存在于pattern space中的。简单说就是包含模板northeast的行被复制并覆盖了文件的末尾行。

# sed -e '/northeast/h' -e '$g' testfile

northwest       NW    Charles Main         3.0     .98    3       34

western         WE    Sharon Gray          5.3     .97    5       23

southwest       SW    Lewis Dalsass        2.7     .8     2       18

southern        SO    Suan Chin            5.1     .95    4       15

southeast       SE    Patricia Hemenway    4.0     .7     4       17

eastern         EA    TB Savage            4.4     .84    5       20

northeast       NE    AM Main Jr.          5.1     .94    3       13

north           NO     Margot Weber         4.5    .89     5       9

northeast       NE    AM Main Jr.          5.1     .94    3       13

实例：模板WE匹配的行被h命令复制到holding buffer，再被d命令删除。结果可以看出WE的原有位置没有输出。第二个编辑命令将找到匹配CT的行，g命令将取得holding buffer中的行，并覆盖当前pattern space中的行，即匹配CT的行。简单的说，任何包含模板northeast的行都将被复制，并覆盖包含CT的行。

# sed -e '/WE/{h;d;}' -e '/CT/{g;}' testfile

northwest       NW    Charles Main         3.0     .98    3       34

southwest       SW    Lewis Dalsass        2.7     .8     2       18

southern        SO    Suan Chin            5.1    .95     4       15

southeast       SE    Patricia Hemenway    4.0     .7     4       17

eastern         EA    TB Savage            4.4     .84    5       20

northeast       NE    AM Main Jr.          5.1     .94    3       13

north           NO    Margot Weber         4.5     .89    5       9

western         WE    Sharon Gray          5.3     .97    5       23

实例：第一个编辑中的h命令将匹配Patricia的行复制到holding buffer中，第二个编辑中的x命令，会将holding buffer中的文本考虑到pattern space中，而pattern space中的文本被复制到holding buffer中。因此在打印匹配Margot行的地方打印了holding buffer中的文本，即第一个命令中匹配Patricia的行文本，第三个编辑命令会将交互后的holding buffer中的文本在最后一行的后面打印出来。

# sed -e '/Patricia/h' -e '/Margot/x' -e '$G' testfile

northwest       NW    Charles Main         3.0     .98    3       34

western         WE    Sharon Gray          5.3     .97    5       23

southwest       SW    Lewis Dalsass        2.7     .8     2       18

southern        SO    Suan Chin            5.1     .95    4       15

southeast       SE    Patricia Hemenway    4.0     .7     4       17

eastern         EA    TB Savage            4.4     .84    5       20

northeast       NE    AM Main Jr.          5.1     .94    3       13

southeast       SE    Patricia Hemenway    4.0     .7     4       17

central         CT    Ann Stephens         5.7    .94     5       13

north           NO     Margot Weber         4.5    .89     5       9

 

cut

如何修改Linux启动级别为字符模式并永久生效，如何临时、永久关闭selinux及防火墙，请分别写出操作方法。
答：
更改字符模式：修改/etc/inittab一行为 id:3:initdefault:
临时关闭selinnux  setenforce 0
临时关闭防火墙    iptables -F
永久关闭selinux   修改/etc/selinux/config一行为 SELINUX=permissive
永久关闭防火墙   iptables -F;/etc/init.d/iptables save


在这个月内，每天的早上 6 点到 12 点中，每隔 2 小时创建一个test.txt文件，内容为ok，如何实现？
答：
a、crontab -e 进入编辑模式
b、添加以下内容 0 6-12/2 * 4 * /bin/touch test.txt   （以4月为例）
c、启动服务 service crontab start;chkconfig crontab on


将/usr/local/test目录下大于100K 的文件转移到/tmp 目录下。
答：
find /usr/local/test -type f -size +100k -exec mv {} /tmp \;


如何将本地80端口的请求转发到8080端口,当前主机IP为192.168.16.1,其中本地网卡eth0:
答：
# iptables -t nat -A PREROUTING -d 192.168.16.1 -p tcp --dport 80 -j DNAT --to 192.168.16.1:8080
或者：
# iptables -t nat -A PREROUTING -i eth0 -d 192.168.16.1 -p tcp -m tcp --dport 80 -j REDIRECT --to-ports 8080

linux系统中如何获取pid为100的进程所监听的tcp端口，请给出详细命令？

答：

netstat -nlpt |grep 100


当用户在浏览器当中输入一个网站，说说计算机对dns解释经过那些流程？注：本机跟本地dns还没有缓存。
答：
a.用户输入网址到浏览器；
b.浏览器发出DNS请求信息；
c.计算机首先查询本机HOST文件，看是否存在，存在直接返回结果，不存在，继续下一步；
d.计算机按照本地DNS的顺序，向合法dns服务器查询IP结果；
e.合法dns返回dns结果给本地dns，本地dns并缓存本结果，直到TTL过期，才再次查询此结果；
f.返回IP结果给浏览器；
g.浏览器根据IP信息，获取页面；

描述Linux shell中单引号、双引号及不加引号的简单区别

答：

单引号：所见即所得，即将单引号内的内容原样输出，或者描述为单引号里面看到的是什么就输出什么。
双引号：把双引号里面的内容给输出出来，如果内容中有命令、变量等，会先把，变来那个、命令解析出结果，然后输出最终内容。
双引号内的命令或者变量写法’命令或变量’或$(命令或变量)
无引号：把内容输出出来，可能不会键含有空格的字符串，视为一个整体输出，如果内容中有命令、变量等，会先把变量、命令解析出来，然后输出最终内容，如果字符串中带有空格等特殊字符，则不能完整输出，需要改加双引号。一般连续的字符串，数字，路径等可以用，不过最好用双引号，替代之。


在mysql客户端查询工具中，如何获取当前的所有连接进程信息

答：mysql> show full processlist;

二、格式

cut -[n]b file 
cut -c file 
cut -d[分隔符] -f[域] file

三、参数解释

-b(bytes) ：以字节为单位进行分割。这些字节位置将忽略多字节字符边界，除非也指定了 -n 标志。 
-c(characters) ：以字符为单位进行分割。 
-d ：自定义分隔符，默认为制表符。 
-f(filed) ：与-d一起使用，指定显示哪个区域。 
-n ：取消分割多字节字符。仅和 -b 标志一起使用。如果字符的最后一个字节落在由 -b 标志的 List 参数指示的
范围之内，该字符将被写出；否则，该字符将被排除。

[rocrocket@rocrocket programming]$ cat /etc/passwd|head -n 5|cut -d : -f 1
root
bin
daemon
adm
lp
看到了吧，用-d来设置间隔符为冒号，然后用-f来设置我要取的是第一个域，再按回车，所有的用户名就都列出来了！呵呵 有成就感吧！
当然，在设定-f时，也可以使用例如3-5或者4-类似的格式：

[rocrocket@rocrocket programming]$ cat /etc/passwd|head -n 5|cut -d : -f 1,3-5
root:0:0:root
bin:1:1:bin
daemon:2:2:daemon
adm:3:4:adm
lp:4:7:lp
[rocrocket@rocrocket programming]$ cat /etc/passwd|head -n 5|cut -d : -f 1,3-5,7
root:0:0:root:/bin/bash
bin:1:1:bin:/sbin/nologin
daemon:2:2:daemon:/sbin/nologin
adm:3:4:adm:/sbin/nologin
lp:4:7:lp:/sbin/nologin
[rocrocket@rocrocket programming]$ cat /etc/passwd|head -n 5|cut -d : -f -2
root:x
bin:x
daemon:x
adm:x
lp:x
（8）如果遇到空格和制表符时，怎么分辨呢？我觉得有点乱，怎么办？

有时候制表符确实很难辨认，有一个方法可以看出一段空格到底是由若干个空格组成的还是由一个制表符组成的。

[rocrocket@rocrocket programming]$ cat tab_space.txt
this is tab finish.
this is several space      finish.
[rocrocket@rocrocket programming]$ sed -n l tab_space.txt
this is tab\tfinish.$
this is several space      finish.$
看到了吧，如果是制表符（TAB），那么会显示为\t符号，如果是空格，就会原样显示。
通过此方法即可以判断制表符和空格了。
注意，上面sed -n后面的字符是L的小写字母哦，不要看错。

（9）我应该在cut -d中用什么符号来设定制表符或空格呢?

其实cut的-d选项的默认间隔符就是制表符，所以当你就是要使用制表符的时候，完全就可以省略-d选项，而直接用－f来取域就可以了。

如果你设定一个空格为间隔符，那么就这样：

[rocrocket@rocrocket programming]$ cat tab_space.txt |cut -d ' ' -f 1
this
this
注意，两个单引号之间可确实要有一个空格哦，不能偷懒。
而且，你只能在-d后面设置一个空格，可不许设置多个空格，因为cut只允许间隔符是一个字符。

[rocrocket@rocrocket programming]$ cat tab_space.txt |cut -d ' ' -f 1
cut: the delimiter must be a single character
Try `cut --help' for more information.

（10）cut有哪些缺陷和不足？

猜出来了吧？对，就是在处理多空格时。
如果文件里面的某些域是由若干个空格来间隔的，那么用cut就有点麻烦了，因为cut只擅长处理“以一个字符间隔”的文本内容

假设last -n 5的输出如下

[root@www ~]# last -n 5 <==仅取出前五行
root     pts/1   192.168.1.100  Tue Feb 10 11:21   still logged in
root     pts/1   192.168.1.100  Tue Feb 10 00:46 - 02:28  (01:41)
root     pts/1   192.168.1.100  Mon Feb  9 11:41 - 18:30  (06:48)
dmtsai   pts/1   192.168.1.100  Mon Feb  9 11:41 - 11:41  (00:00)
root     tty1                   Fri Sep  5 14:09 - 14:10  (00:01)

如果只是显示最近登录的5个帐号

#last -n 5 | awk  '{print $1}'
root
root
root
dmtsai
root

awk工作流程是这样的：读入有'\n'换行符分割的一条记录，然后将记录按指定的域分隔符划分域，填充域，$0则表示所有域,$1表示第一个域,$n表示第n个域。默认域分隔符是"空白键" 或 "[tab]键",所以$1表示登录用户，$3表示登录用户ip,以此类推。

 

如果只是显示/etc/passwd的账户

#cat /etc/passwd |awk  -F ':'  '{print $1}'  
root
daemon
bin
sys

这种是awk+action的示例，每行都会执行action{print $1}。

-F指定域分隔符为':'。

 

如果只是显示/etc/passwd的账户和账户对应的shell,而账户与shell之间以tab键分割

#cat /etc/passwd |awk  -F ':'  '{print $1"\t"$7}'
root    /bin/bash
daemon  /bin/sh
bin     /bin/sh
sys     /bin/sh

 

如果只是显示/etc/passwd的账户和账户对应的shell,而账户与shell之间以逗号分割,而且在所有行添加列名name,shell,在最后一行添加"blue,/bin/nosh"。

cat /etc/passwd |awk  -F ':'  'BEGIN {print "name,shell"}  {print $1","$7} END {print "blue,/bin/nosh"}'
name,shell
root,/bin/bash
daemon,/bin/sh
bin,/bin/sh
sys,/bin/sh
....
blue,/bin/nosh

awk工作流程是这样的：先执行BEGING，然后读取文件，读入有/n换行符分割的一条记录，然后将记录按指定的域分隔符划分域，填充域，$0则表示所有域,$1表示第一个域,$n表示第n个域,随后开始执行模式所对应的动作action。接着开始读入第二条记录······直到所有的记录都读完，最后执行END操作。

 

搜索/etc/passwd有root关键字的所有行

#awk -F: '/root/' /etc/passwd
root:x:0:0:root:/root:/bin/bash

这种是pattern的使用示例，匹配了pattern(这里是root)的行才会执行action(没有指定action，默认输出每行的内容)。

搜索支持正则，例如找root开头的: awk -F: '/^root/' /etc/passwd

 

搜索/etc/passwd有root关键字的所有行，并显示对应的shell

# awk -F: '/root/{print $7}' /etc/passwd             
/bin/bash

 这里指定了action{print $7}

 

awk内置变量

awk有许多内置变量用来设置环境信息，这些变量可以被改变，下面给出了最常用的一些变量。

ARGC               命令行参数个数
ARGV               命令行参数排列
ENVIRON            支持队列中系统环境变量的使用
FILENAME           awk浏览的文件名
FNR                浏览文件的记录数
FS                 设置输入域分隔符，等价于命令行 -F选项
NF                 浏览记录的域的个数
NR                 已读的记录数
OFS                输出域分隔符
ORS                输出记录分隔符
RS                 控制记录分隔符

 此外,$0变量是指整条记录。$1表示当前行的第一个域,$2表示当前行的第二个域,......以此类推。

 

统计/etc/passwd:文件名，每行的行号，每行的列数，对应的完整行内容:

#awk  -F ':'  '{print "filename:" FILENAME ",linenumber:" NR ",columns:" NF ",linecontent:"$0}' /etc/passwd
filename:/etc/passwd,linenumber:1,columns:7,linecontent:root:x:0:0:root:/root:/bin/bash
filename:/etc/passwd,linenumber:2,columns:7,linecontent:daemon:x:1:1:daemon:/usr/sbin:/bin/sh
filename:/etc/passwd,linenumber:3,columns:7,linecontent:bin:x:2:2:bin:/bin:/bin/sh
filename:/etc/passwd,linenumber:4,columns:7,linecontent:sys:x:3:3:sys:/dev:/bin/sh

 

使用printf替代print,可以让代码更加简洁，易读

 awk  -F ':'  '{printf("filename:%10s,linenumber:%s,columns:%s,linecontent:%s\n",FILENAME,NR,NF,$0)}' /etc/passwd

 

print和printf

awk中同时提供了print和printf两种打印输出的函数。

其中print函数的参数可以是变量、数值或者字符串。字符串必须用双引号引用，参数用逗号分隔。如果没有逗号，参数就串联在一起而无法区分。这里，逗号的作用与输出文件的分隔符的作用是一样的，只是后者是空格而已。

printf函数，其用法和c语言中printf基本相似,可以格式化字符串,输出复杂时，printf更加好用，代码更易懂。