awk基础知识

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55

1.脚本： [root@oldboy ~]# cat test wang     4 cui      3 zhao     4 liu      3 liu      3 chang    5 li       2 [root@oldboy ~]#  问题  1 通过第一个域找出字符长度为4的  知识点：（length函数） [root@oldboy ~]# awk '{if(length($1)=="4"){print $0}}' test wang     4 zhao     4 [root@oldboy ~]#  [root@oldboy ~]# awk '{len=length($1);if(len=="4"){print $0}}' test wang     4 zhao     4 [root@oldboy ~]#  2. 将文档中 liu 字符串替换为 hong  知识点 gsub(/r/,"s",域) [root@oldboy ~]# awk '{gsub(/liu/,"hong",$1);print $0}'  test wang     4 cui      3 zhao     4 hong 3 hong 3 chang    5 li       2 [root@oldboy ~]#  3.第二列求和   [root@oldboy ~]# awk 'BEGIN{sum=0}{sum=sum+$2}END{print sum}' test 24 [root@oldboy ~]# echo "4+3+4+6+7"|bc 24 [root@oldboy ~]#  4.第二列求平均值   双变量 或者运用内置变量NR [root@oldboy ~]# awk 'BEGIN{sum=0;i=0}{sum=sum+$2;i++}END{print sum/i}' test             3.42857 [root@oldboy ~]# awk 'BEGIN{sum=0}{sum=sum+$2}END{print sum/NR}' test          3.42857 [root@oldboy ~]# 5.第二列求最大值    和最初的一个值进行比较 [root@oldboy ~]# awk 'BEGIN{a=0}{if($2>a){a=$2}}END{print a}' test 5 [root@oldboy ~]#  6. 去重统计 [root@oldboy ~]# awk '{arry[$1]++}END{for(i in arry){print arry[i],i}}'  test|sort -nr  2 liu 1 zhao 1 wang 1 li 1 cui 1 chang [root@oldboy ~]#

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31

脚本： [root@oldboy ~]# cat   test02 zhangsan    80 lisi            81.5 wangwu      93 zhangsan    85 lisi        88 wangwu      97 zhangsan    90 lisi              92 wangwu      88 [root@oldboy ~]#    7.（求每人的平均值） 反思a数组主要用于  第一列的唯一表示  累加       b  数组用于统计每个第一列的个数 key 就是数组内的值  a[key]  就是key 多对应的第几列的值   [root@oldboy ~]# awk '{a[$1]+=$2;b[$1]++}END{for(key  in a){print key,a[key]/b[key]}}'  test02   zhangsan 85 lisi 87.1667 wangwu 92.6667 [root@oldboy ~]# awk '{a[$1]+=$2;b[$1]++}END{for(key  in a){print key,a[key]}}'  test02         zhangsan 255 lisi 261.5 wangwu 278 [root@oldboy ~]# awk '{a[$1]+=$2;b[$1]++}END{for(key  in a){print b[key]}}'  test02   3 3 3

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125

8.awk  增加表标题和行（主要用来统计） [root@oldboy ~]# awk 'BEGIN{FS=":";print "name\tshell"}{print $1"\t"$7}END{print "blue,/bin/bash"}'  /etc/passwd  name    shell root    /bin/bash bin     /sbin/nologin daemon  /sbin/nologin adm     /sbin/nologin lp      /sbin/nologin sync    /bin/sync shutdown        /sbin/shutdown halt    /sbin/halt   9.搜索哪一个关键字 [root@oldboy ~]# awk 'BEGIN{FS=":"}/root/'  /etc/passwd root:x:0:0:root:/root:/bin/bash operator:x:11:0:operator:/root:/sbin/nologin [root@oldboy ~]#    10.搜索以什么开头的行 [root@oldboy ~]# awk '/^root/'  /etc/passwd root:x:0:0:root:/root:/bin/bash [root@oldboy ~]#    11.搜索以多个开头的行 [root@oldboy ~]# awk '/^(sshd|root)/'  /etc/passwd root:x:0:0:root:/root:/bin/bash sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin [root@oldboy ~]#  12.搜索以字母开头的行 [root@oldboy ~]# awk  '/^[rd]/'  /etc/passwd root:x:0:0:root:/root:/bin/bash daemon:x:2:2:daemon:/sbin:/sbin/nologin dbus:x:81:81:System message bus:/:/sbin/nologin [root@oldboy ~]#  13.条件判断 [root@oldboy ~]# awk 'BEGIN{FS=":"}{if($2=="x"&&$3<=10){print $0}}'  /etc/passwd     root:x:0:0:root:/root:/bin/bash bin:x:1:1:bin:/bin:/sbin/nologin daemon:x:2:2:daemon:/sbin:/sbin/nologin adm:x:3:4:adm:/var/adm:/sbin/nologin lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin sync:x:5:0:sync:/sbin:/bin/sync shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown halt:x:7:0:halt:/sbin:/sbin/halt mail:x:8:12:mail:/var/spool/mail:/sbin/nologin uucp:x:10:14:uucp:/var/spool/uucp:/sbin/nologin [root@oldboy ~]#  14.统计一个文件的行数 [root@oldboy ~]# awk 'BEGIN{sum=0}{sum++}END{print sum}'  /etc/passwd  24 [root@oldboy ~]#  15.统计一个文件夹下的字节数 [root@oldboy ~]# ls -l |awk 'BEGIN{size=0}{size+=$5}END{print size}'   29479 [root@oldboy ~]#  16.length [root@oldboy ~]# awk 'BEGIN{FS=":"}{len=length($5);if(len>4){print $0}}' /etc/passwd daemon:x:2:2:daemon:/sbin:/sbin/nologin shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown operator:x:11:0:operator:/root:/sbin/nologin games:x:12:100:games:/usr/games:/sbin/nologin gopher:x:13:30:gopher:/var/gopher:/sbin/nologin ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin nobody:x:99:99:Nobody:/:/sbin/nologin dbus:x:81:81:System message bus:/:/sbin/nologin vcsa:x:69:69:virtual console memory owner:/dev:/sbin/nologin haldaemon:x:68:68:HAL daemon:/:/sbin/nologin saslauth:x:499:76:Saslauthd user:/var/empty/saslauth:/sbin/nologin sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin [root@oldboy ~]#  17.查看系统的端口号： [root@oldboy ~]# awk -F "[ /]+" '$1~/^(ftp|ssh|https|mysql|ssh)$/{print $1,$2}'  /etc/services |uniq  ftp 21 ssh 22 https 443 mysql 3306 ftp 21 ssh 22 [root@oldboy ~]#    18.求1-100之间的和 [root@oldboy ~]# seq 100|awk '{sum+=$1}END{print sum}'         5050 19.求PATH路径中命令为三个字母的个数 [root@oldboy ~]# find  `echo $PATH|tr ":" " "`  -type f -name "???"|awk  -F "/" '{i++;print $4}END{print "总的个数为:" i}'>>command.txt 20.统计日志的IP的个数，并统计每个ip的个数 [root@oldboy ~]# awk -F "[ ]+"  '{arry[$1]++}END{for(key in arry){print arry[key],key}}' access_awk.log  |sort -nr|head   -n 10 179 112.64.171.98 114 49.70.160.35 108 180.157.41.101 98 124.79.108.144 97 58.220.223.62 90 61.170.130.208 73 116.25.32.13 72 218.79.64.76 62 115.228.107.174 61 180.154.238.125 [root@oldboy ~]#  21.统计单词和字母的个数 用shell处理以下内容 1、按单词出现频率降序排序！ 2、按字母出现频率降序排序！ 源数据： the squid project provides a number of resources to assist users design,implement and support squid installations. Please browse the documentation and support sections for more infomation   [root@oldboy ~]# egrep   -o  "[a-Z]+"  work |awk '{a[$1]++}END{for(key in a){print key,a[key]}}' |sort -nrk2 the 2 support 2 squid 2 and 2 users 1 to 1 sections 1 resources 1     [root@oldboy ~]# egrep   -o  "[a-Z]"  work |awk '{a[$1]++}END{for(key in a){print key,a[key]}}' |sort -nrk2 s 19 e 17 o 16 t 14 n 12 i 12 r 11 a 9

本文转自 小小三郎1 51CTO博客，原文链接：http://blog.51cto.com/wsxxsl/1832197，如需转载请自行联系原作者