awk:

基本语法

awk [options] 'program' file file ...

awk [options] 'PATTERN{action}' file file ...

1、awk的输出

print item1, item2.......

要点：

(1) 各项目之间使用逗号分隔，而输出时则使用输出分隔符分隔；

(2) 输出的各item可以字符串或数值、当前记录的字段、变量或awk的表达式；数值会被隐式转换为字符串后输出；

clipboard

(3) print后面item如果省略，相当于print $0；输出空白，使用pirnt ""；

clipboard[1]

2,awk常用变量：  
内置变量

FS: field separator（输入字段分隔符），默认是空白字符

需要先对变量赋值

clipboard[2]

OFS:output field separator，输出字段分隔符

语句与语句之间分隔符定义，默认是空格

clipboard[3]

ORS: Outpput Row Seperator, 输出时的行分隔符；

默认的行分隔符一般都是换行，我们可以自定义为@

clipboard[4]

RS: Record separator（记录分隔符），默认是换行符

没有指定则输出整行，以冒号分隔。

clipboard[5]

NF：Number of Field，当前记录的字段（field）个数

clipboard[6]

NR: The number of input records，awk命令所处理的记录数；如果有多个文件，这个数目会把处理的多个文件中行统一计数    
clipboard[7]

clipboard[8]

clipboard[9]

clipboard[10]

FNR: 与NR不同的是，FNR用于记录正处理的行是当前这一文件中被总共处理的行数

clipboard[11]

clipboard[12]

ARGV：数组，保存命令本身这个字符，awk '{print $0}' 1.txt 2.txt，意味着ARGV[0]保存awk,

clipboard[13]

ARGC: 保存awk命令中参数的个数；

此命令中有3个参数，为awk    /etc/passwd   /etc/shadow

clipboard[14]

FILENAME： awk正在处理的当前文件的名称；

自定义变量

-v var_name=VALUE

变量名区分字符大小写；

(1) 可以program中定义变量；

(2) 可以命令行中通过-v选项自定义变量；

可以定义一个变量，遍历一行文件数据便输出一次自定义变量

clipboard[15]

也可以直接输出变量，不必遍历文件

clipboard[16]

还可在BEGIN外定义变量，不过需要加上-v参数

clipboard[17]

3，printf命令的使用格式：  
printf  “format”,  item1,  item2, ...

要点：  
1、其与print命令的最大不同是，printf需要指定format    
2、format用于指定后面的每个item的输出格式    
3、printf语句不会自动打印换行符，换行时在模式中指定 \n

format格式的指示符都以%开头，后跟一个字符，如下：  
%c: 显示字符的ASCII码；    
%d, %i：十进制整数；      
%e, %E：科学计数法显示数值；      
%f: 显示浮点数；      
%g, %G: 以科学计数法的格式或浮点数的格式显示数值；      
%s: 显示字符串；      
%u: 无符号整数；      
%%: 显示%自身；

修饰符：  
N（数字）: 显示宽度；15表示宽度15 ，15.2表示总宽15，小数点后精确2位    
-  : 左对齐；    
+：显示数值符号（正+或负-）；

. #：取值精度

用法示例：  
# awk -F: '{printf "%-15s %i\n",$1,$3}' /etc/passwd

[root@rs1 test]# awk '{printf "%-10s%s\n",$1,$2}' a.txt

clipboard[18]

clipboard[19]

%-15s修饰$1 ,%i修饰$3 ,\n是换行的意思

4，输出重定向

print items > output-file 保存到某文件中  
print items >> output-file 追加到某文件中    
print items | command 使用管道交给某些命令处理

特殊文件描述符：  
/dev/stdin：标准输入    
/dev/sdtout: 标准输出      
/dev/stderr: 错误输出    
/dev/fd/N: 某特定文件描述符，如/dev/stdin就相当于/dev/fd/0

用法示例：  
# awk -F: '{printf "%-15s %i\n",$1,$3 > "/dev/stderr" }' /etc/passwd

clipboard[20]

5，awk的操作符

算术操作符：

   x+y、x-y、x*y、 x/y、 x**y/x^y （x的y次方）、x%y  （取模）、-x（：负值）、+x（：转换为数值）

字符串操作符：连接

        将item写在一起，不使用分隔符

赋值操作符：

   =、 +=、-=、*=、/=、 %=  （取模等）、^= （次方等）、**=（次方等）、++、--

如果模式自身是=号，要写为/=/

比较操作符：

   <、<=、>、>=、==、!=

   ~：模式匹配，左边的字符串能够被右边的模式所匹配为真，否则为假；

   !~: 不匹配为真，匹配为假

逻辑操作符：

   &&： 与

   ||：或

条件表达式:

  selector?if-true-expression:if-false-expression

判断select是否为真，为真执行if-true-expression，为假执行if-false-expression

# awk -F: '{$3>=500?utype="common user":utype="admin or system user";print $1,"is",utype}' /etc/passwd

clipboard[21]

  函数调用：

  function_name(argu1,argu2)

6，awk中常见的模式类型：  
1、Regexp: 正则表达式，格式为/regular expression/   仅处理被/PATTERN/匹配到的行

clipboard[22]

[root@rs1 test]# awk -F: '$1 ~ /^root/ {print $3,$4,$NF}' /etc/passwd 显示被模式匹配到的行的第三第四和最有一个字段

clipboard[23]    
2、expresssion：表达式，其值非0或为非空字符时满足条件，如：$1 ~ /foo/ 或 $1 == "magedu"，用运算符~(匹配)和~!(不匹配)

clipboard[24]    
3、Ranges： 指定的匹配范围，格式为pat1,pat2  /bash/,/awk/从被/bash/匹配到的行开始到被/awk/匹配到的行结束

4、BEGIN/END：特殊模式，仅在awk命令执行前（BEGIN）运行一次或结束(END)前运行一次

[root@rs1 ~]# awk -F: 'BEGIN{print "Username       UID"}{printf "%-15s%s\n",$1,$3}END{print "Over"}' /etc/passwd  
clipboard[25]

5、Empty(空模式)：匹配任意输入行

clipboard[26]

7，awk中的控制语句：

(1) Expressions ：表达式 赋值等

(2) Control statements ：条件语句，控制语句if while。。。

(3) Compound statements ：组合语句

(4) input statements ：输入语句

(5) output statements ：输出语句 print 。。。  
1、if-else    
语法：if (condition条件) {then-body条件为真时执行的语句；可以多个语句；分号分隔} else { else-body }

例子：  
[root@www ~]#awk -F: '{if ($1=="root") print $1, "Admin"; else print $1, "Common User"}' /etc/passwd    
[root@www ~]#awk -F: '{if ($1=="root") printf "%-15s: %s\n", $1,"Admin"; else printf "%-15s: %s\n", $1, "Common User"}' /etc/passwd    
[root@www ~]#awk -F: -v sum=0 '{if ($3>=500) sum++}END{print sum}' /etc/passwd

[root@www ~]# awk -F: '{if ($3>=500){print $1,"common user",$3}else{print $1,"system user",$3}}' /etc/passwd

clipboard[27]

clipboard[28]

[root@www ~]#awk '{if (NF>=8) {print}}' /etc/inittab     字段数大于8个

clipboard[29]

字段数等于8个的行

clipboard[30]

2、while    
语法： while (condition){statement1; statment2; ...}

root@www ~]# awk -F: '$1!~/root/{i=1;while (i<=4) {print $i;i++}}' /etc/passwd

root@www ~]# awk -F: '$1!~/root/{i=1;while (i<=NF) {print $i;i+=2}}' /etc/passwd只显示奇数字段

[root@www ~]# awk '{i=2; while (i<=NF){printf "%s ",$i;i+=2};print ""}' /etc/inittab   只显示偶数字段，每个字段以空格分隔

clipboard[31]

clipboard[32]

awk '{i=1; while (i<=NF){if (length($i)>=6) {print $i}; i++}}' /etc/inittab   输出每个字段长度大于6 的

length()函数：取字符串的长度

clipboard[33]

3、do-while    
语法： do {statement1, statement2, ...} while (condition)

4、for    
语法： for ( variable assignment（条件赋值）; condition（循环执行）; iteration process（变量修正）) { statement1, statement2, ...}

for循环还可以用来遍历数组元素：  
语法： for (i in array) {statement1, statement2, ...}

遍历数组中的每一个元素

[root@www data]# awk '{for(i=1;i<=NF;i+=2){printf "%s ", $i};print ""}' /etc/inittab

clipboard[34]

[root@www data]# awk '{for(i=1;i<=NF;i+=2){if (length($i)>=6)print $i }}' /etc/inittab

clipboard[35]

for {A in ARRAY} {print ARRAY[A]}    
A中保存数组下标    
[root@rs1 ~]# awk 'BEGIN{A["m"]="hello";A["n"]="world";for (B in A) print A[B]}' B中保留数组A的下标

[root@rs1 ~]# awk -F: '{for(i=1;i<=NF;i+=2) print $i}' /etc/passwd

[root@rs1 ~]# netstat -ant | awk '$1~/tcp/{S[$NF]++}END{for (A in S) print A,S[A]}'

[root@rs1 ~]# awk -F: '$NF!~/^$/{SHELL[$NF]++}END{for(A in SHELL) print A,SHELL[A]}' /etc/passwd

[root@rs1 httpd]# awk '{IP[$1]++}END{for (A in IP) print A,IP[A]}' access_log.1

5、case    
语法：switch (expression) { case VALUE or /REGEXP/: statement1, statement2,... default(前边都匹配不到则默认匹配此): statement1, ...}

6、break 和 continue    
常用于循环或case语句中

7、next    
提前结束对本行文本的处理，并接着处理下一行

[root@www data]# awk -F: '{if($3%2==0) next;print $1,$3}' /etc/passwd     ID奇数行输出，偶数跳过

clipboard[36]

[root@www data]# awk -F: '{if(FNR%2==0) next;print $1,$3}' /etc/passwd   对奇数行输出，偶数行跳过

8，awk中使用数组：  
array[index-expression]

index-expression可以使用任意字符串；需要注意的是，如果某数据组元素事先不存在，那么在引用其时，awk会自动创建此元素并初始化为空串；因此，要判断某数据组中是否存在某元素，需要使用index in array的方式。

用法示例：

要遍历数组中的每一个元素，需要使用如下特殊结构：

    for (var in array) {for body}

    其var会遍历array的索引；而非元素值  
netstat -n | awk '/^tcp/ {sta[$NF]++} END {for(s in sta) print s, sta[s]}'

clipboard[37]    
每出现一被/^tcp/模式匹配到的行，数组S[$NF]就加1，NF为当前匹配到的行的最后一个字段，此处用其值做为数组S的元素索引；

awk '{counts[$1]++}; END {for(url in counts) print counts[url], url}' /var/log/httpd/access_log  
用法与上一个例子相同，用于统计某日志文件中IP地的访问量

删除数组元素：

   delete array[index]

9，awk的内置函数：  
split(string, array [, fieldsep [, seps ] ])    
功能：将string表示的字符串以fieldsep为分隔符进行分隔，并将分隔后的结果保存至array为名的数组中；数组下标从1开始

netstat -ant | awk '/:80/{split($5,clients,":");IP[clients[1]]++}END{for(i in IP){print IP[i],i}}' | sort -rn | head -50

length([string])  
功能：返回string字符串中字符的个数；

[root@www data]# awk 'BEGIN{split("root:x:0:0",user,":");for (i in user) print i,user[i]}'    返回定义的字符放到user数组中各段的内容。不是安顺序显示的，且数组下标从1开始。

clipboard[38]    
substr(string, start [, length])    
功能：取string字符串中的子串，从start开始，取length个；start从1开始计数；

system(command)  
功能：执行系统command并将结果返回至awk命令

systime()  
功能：取系统当前时间