awk:报告生成器，格式化之后显示。

格式：

   awk [options] 'script' file1 file2,.....

   awk [options] 'PATTERN {action}' file1 file2,......

    print,printf


实例：

[root@mode ~]# cat test.txt 

this is a test.

[root@mode ~]# awk 'BEGIN {OFS=":"} {print $1,$2,$3,$4}' test.txt

this:is:a:test.


awk的输出：

一、print的使用格式

   print item1，item2，......

要点：

   1、各项目之间使用逗号隔开，而输出时则以空白字符分隔；

   2、输出的item可以为字符串或数值、当前记录的字段（如$1)、变量或awk的表达式；数值会先转换为字符串，而后再输出；

   3、print命令后面的item可以省略，此时其功能相当于print $0,因此如果想输出空白行，则需要使用print "";

实例：

[root@mode ~]# awk 'BEGIN {print "line one\nline two\nline three"}' 

line one

line two

line three

[root@mode ~]#awk -F: '{print $1,$3}' /etc/passwd


二、awk变量

2.1 awk内置变量之记录变量

FS:field separator,读取文本时，所使用的字段分隔符。

RS：Record separator,输入文本信息所使用的换行符。

OFS:output filed separator，输出字段分隔符

ORS:output Row Separator，输出的行分隔符


awk -F:--->输入分隔符

FS=":"-->输入分隔符   OFS=":"--->输出分隔符


2.2 awk内置变量之数据变量

NR:the number of input records,awk命令所处理的记录数，如果有多个文件，这个数目会把处理的多个文件中行统一计数。

FNR:与NR不同的是，FNR用于记录正处理的行是当前这一文件中被总共处理的行数。

NF:number of field,当前记录的field个数。

例如：

[root@mode ~]# awk '{print NF}' test.txt  ---->记录的行的字段个数

4

[root@mode ~]# awk '{print $NF}' test.txt ---->记录的行的第四个字段

4

[root@mode ~]# awk '{print NR}' test.txt  ---->计数只有一行

1

[root@mode ~]# awk '{print NR}' test.txt /etc/issue--->绝对计数，两个文件的计数合并在一起。

1

2

3

4

[root@mode ~]# awk '{print FNR}' test.txt /etc/issue---->各自计数

1

1

2

3

ARGV:数组，保存命令行本身这个字符串，如awk '{print $0}' a.txt b.txt这个命令中，ARGV[0]保存awk,ARGV[1]保存a.txt。

ARGC：awk命令的参数的个数。

FILENAME:awk命令所处理的文件的名称。

ENVIRON：当前shell环境变量及其值的关联数组。

如：awk ‘BEGIN {print ENVIRON["PATH"]}’


2.3 用户自定义变量

gawk允许用户自定义自己的变量以便在程序代码中使用，变量名命名规则与大多数编程语言相同，只能使用字母、数字和下划线，且不能以数字开头。gawk变量名称区分字符大小写。

2.3.1在脚本中赋值变量

在gawk中给变量赋值使用赋值语句进行，例如：

awk 'BEGIN{var="variable testing";print var}'

2.3.2在命令行中使用赋值变量

gawk命令也可以在“脚本”外为变量赋值，并在脚本中进行引用。例如:上述的例子还可以改写为：

awk -v var="variable testing" 'BEGIN {print var}'


三、printf命令的使用格式

   printf format，item1，item2，..........

要点:

  1、其与print命令的最大不同是，printf需要指定format

  2、format用于指定后面的每个item的输出格式

  3、printf语句不会自动打印换行符：\n

format格式的指示符都以%开头，后跟一个字符，如下：

%c:显示单个字符

%d，%i:十进制整数

%e,%E：科学计数法显示数值

%f:显示浮点数

%g,%G:以科学计数法的格式或浮点数的格式显示数值

%s:显示字符串

%u:无符号整数

%%:显示%自身

\n 换行

\f 清屏并换页

\r 回车

\t Tab符

\xhh 表示一个ASCII码用16进表示,其中hh是1到2个16进制数


修饰符：

N：显示宽度

-：左对齐

+：显示数值符号

例如：

awk -F: '{printf "%-15s %i\n",$1,$3}' /etc/passwd


四、输出重定向

print items >output-file

print items >>output-file

print items |command


特殊文件描述符:

/dev/stdin:标准输入

/dev/stdout:标准输出

/dev/stderr:标准错误输入

/dev/fd/N:某特定文件描述符，如/dev/stdin就相当于/dev/fd/0;


例如：

awk -F: '{printf "%-15s %i\n",$1,$3 > "/dev/stderr" }' /etc/passwd


五、awk的操作符

5.1 算术操作符

-x:负数

+x:转换为数值

x^y：次方

x**y：次方

x*y:乘法

x/y：除法

x+y:加法

x-y：减法

x%y:取模


5.2 字符串操作符

只有一个，而且不用写出来，用于实现字符串连接。


5.3 赋值操作符

=

+=

-=

*=

/=

%=

^=

**=

++

--

需要注意的是，如果某模式为=号，此时使用/=/可能会有语法错误，应以/[=]/替代


5.4 布尔值

awk中，任何非0值或非空字符串都为真，反之就是假。


5.5 比较操作符

x < y

x <= y

x > y

x >= y

x == y

x != y 

x ~ y(如果x字符串与y所表示的正则表达式的模式匹配，则为真；否则为假)

x !~ y


5.6 表达式间的逻辑关系符

&&   ||

5.7 条件表达式

selector?if-true-exp:if-false-exp

解释如下：

selector为真，则if-true-exp；否则为if-false-exp


5.8 函数调用

function_name (para1,para2)


六、awk的模式

awk 'program' input-file1 input-file2....

其中的program为：

pattern { action }

pattern { action }

....

6.1常见的模式类型

1）Regexp:正则表达式，格式为/regular expression/

2)expression:表达式，其值非0或为非空字符时满足条件，如:$1 ~ /foo/ 或$1 == "test",用运算符~（匹配）和~！（不匹配）。

3）Ranges:指定的匹配范围，格式为pat1,pat2

4)BEGIN/END：特殊模式，仅在awk命令执行前运行一次或结束前运行一次。

5）Empty(空模式）：匹配任意输入行。

例如：

[root@mode ~]# awk -F:  '/^r/ {print $1}' /etc/passwd    ---->显示以r开头的行

root

rpc

rtkit

rpcuser

[root@mode ~]# awk -F: '$3>=500 {print $1,$3}' /etc/passwd 

nfsnobody 65534

[root@mode ~]# awk -F: '$7~"bash$" {print $1,$7}' /etc/passwd    -->若$7位置匹配以                                                             bash为结尾的字符，则输出$1,$7段。

root /bin/bash

mysql /bin/bash

[root@mode ~]# awk -F: 'BEGIN {print "username id"} {print $1,$3}' /etc/passwd 

username id

root 0

bin 1

[root@mode ~]# awk -F: 'BEGIN {print "username id"} {print $1,$3}END {print "end of report"}' /etc/passwd 

username id

root 0

bin 1

........

sshd 74

tcpdump 72

end of report


6.2 常见的action

1）Expressions

2)Control statements

3）Compound statements

4)Input statements

5)Output statements


/正则表达式/:使用通配符的扩展集

关系表达式：可以用下面运算符表中的关系运算符进行操作，可以是字符串或数字的比较，如$2>$1选择第二个字段比第一个字段长的行。

模式：指定一个行的范围，该语法不能包括BEGIN和END模式。

BEGIN：让用户指定在第一条输入记录被处理之前所发生的动作，通常可在这里设置全局变量。

END:让用户在最后一条输入记录被读取之后发生的动作。


七、控制语句

7.1 if-else

语法：if (condition) {then-body} else {[else-body]}

例子：

(1)awk -F: '{if ($1=="root") print $1, "Admin";else print $1, "Common User"}' /etc/passwd

(2)awk -F: '{if ($1=="root") printf "%-15s:%s\n",$1,"Admin";else printf "%-15s:%s\n",$1,"Common User"}' /etc/passwd

(3)awk -F: -v sum=0 '{if ($3>=500) sum++}END {print sum}' /etc/passwd


7.2 while 

语法：while (condition) {statement1;statement2;...}

awk -F: '{i=1;while (i<=3) {print $i;i++}}' /etc/passwd

awk -F: '{i=1;while (i<=NF) {if (length($i)>=4) {print $i};i++}}' /etc/passwd


7.3 do-while 

语法：do {statement1,statement2,...} while (condition)

awk -F: '{i=1;do {print $i;i++} while (i<=3)}' /etc/passwd


7.4 for

语法：for (variable assignment;condition;iteration process) { statement1,statement2,...}

awk -F: '{for (i=1;i<=NF;i++) {if (length($i)>=4) {print $i}}}' /etc/passwd


for循环还可以用来遍历数组元素：

语法:for (i in array) {statement1,statement2,...}

awk -F: '$NF!~/^$/{BASH[$NF]++} END{for(A in BASH) {printf "%15s:%i\n",A,BASH[A]}}' /etc/passwd


7.5 case

语法：switch （expression）{ case VALUE or /REGEXP/: statement1,statement2,... default:statement1,...}


7.6 break和continue

常用于循环或case语句中


7.7 next

提前结束对本行文本的处理，并接着处理下一行，例如：下面的命令将显示其ID号为奇数的用户

awk -F: '{if ($3%2==0) next;print $1,$3}' /etc/passwd


八、awk中使用数组

8.1 数组

array[index-expression]

index-expression可以使用任意字符串：需要注意的是，如果某数据组元素事先不存在，那么在引用其时，awk会自动创建此元素并初始化为空串，因此，要判断某数据组中是否存在某元素，需要使用index in array的方式。


要遍历数组中的每一个元素，需要使用如下的特殊结构：

for (var in array) {statement1,....}

其中，var用于引用数组下标，而不是元素值；

例如1：

netstat -ant|awk '/^tcp/ {++S[$NF]} END {for (a in S) print a,S[a]}'


awk '{counts[$1]++};END {for (ip in counts) print counts[ip],ip}' /var/log/httpd/access_log

用法与上一个例子相同，用于统计某日志文件中IP地址的访问量


例如2：

awk -F: '{shell[$NF]++} END { for (a in shell) print a,shell[a] }' /etc/passwd


8.2 删除数组变量

从关系数组中删除数组索引需要使用delete命令，使用格式为：

delete array[index]


九、awk的内置函数

split(string,array[,fieldsep [,seps] ])

功能：将string表示的字符串以fieldsep为分隔符进行分隔，并将分隔后的结果保存至array为名的数组中，数组下标为从0开始的序列。

netstat -ant |awk '/:80\>/{split($5,clients,":");IP[clients[1]++]}END{for (i in IP){print IP[i],i }}'int IP[i],i }}'|sort -rn |head -50


length([string])

功能：返回string字符串中字符的个数；


substr(string,start [,length])

功能：取string字符串中的子串，从start开始，取length个；start从1开始计数；


system（command）

功能：执行系统command并将结果返回至awk命令


systime()

功能：取系统当前时间


tolower(s)

功能:将s中的所有字母转为小写


toupper(s)

功能：将s中的所有字母转为大写


十、用户自定义函数

自定义函数使用function关键字，格式如下：

function F_NAME([variable])

{

    statements

}

函数还可以使用return语句返回值，格式为"return value"。