Shell脚本实用技巧-优快云博客

打印某行到某行之间的内容

有一个文件，内容如下

[root@localhost ~]# cat test
ert
fff
**
[abcfd]
123
324
444
[rty]
**
fgfgf

我需要如下内容

[abcfd]
123
324
444
[rty]

使用如下命令即可

[root@localhost ~]# sed -n '/\[abcfd\]/,/\[rty\]/p' test
[abcfd]
123
324
444
[rty]

sed转换大小写

sed中，使用\u表示大写，\l表示小写，\b边界符

把每个单词的第一个小写字母变大写：

sed 's/\b[a-z]/\u&/g' filename

把所有小写变大写：

sed 's/[a-z]/\u&/g' filename

大写变小写：

sed 's/[A-Z]/\l&/g' filename

sed在文件中某一行最后添加一个数字

[root@localhost ~]# cat test 
askdj
aslkd aslkdjf3e
skdjfsdfj
sdkfjk
fsdkfjksdjfkjsdf
12sdfesdf
aslkdjfkasdjf asdlfkjaskdfj
[root@localhost ~]# sed 's/\(^a.*\)/\1 12/' test
askdj 12
aslkd aslkdjf3e 12
skdjfsdfj
sdkfjk
fsdkfjksdjfkjsdf
12sdfesdf
aslkdjfkasdjf asdlfkjaskdfj 12

sed删除某关键字的下一行到最后一行

[root@test200 ~]# cat test
a
b
c
d
e
f
[root@test200 ~]# sed '/c/{p;:a;N;$!ba;d}' test
a
b
c

定义一个标签a，匹配c，然后N把下一行加到模式空间里，匹配最后一行时，才退出标签循环，然后命令d，把这个模式空间里的内容全部清除。

if 匹配"c"
:a
追加下一行
if 不匹配"$"
goto a
最后退出循环，d命令删除。

使用sed打印1到100行包含某个字符串的行

sed  -n '1,100{/abc/p}'  1.txt

awk 中使用外部shell变量

如：
A=44echo "ABCD" | awk -v GET_A=$A ’{print GET_A}’
说明：-v选项用于定义参数，这里表示将变量A的值赋予GET_A。
有多少个变量需要赋值，就需要多少个-v选项。与之等价的：应用于脚本中：

#! /bin/bash
sort -n filename |awk -F ':' '{print $1}'|uniq >id.txt
for id in `cat id.txt`; do
        echo "[$id]"
        awk -v id2=$id -F ':' '$1==id2 {print $2}' filename  // 另外的方式为: awk -F ':' '$1=="'id'" {print $2}' filename  
done

cat filename
1111111:13443253456
2222222:13211222122
1111111:13643543544
3333333:12341243123
2222222:12123123123
运行脚本后结果为：
[1111111]
13443253456
13643543544
[2222222]
13211222122
12123123123
[3333333]
12341243123

awk 合并一个文件

我有这样的需求，需要把两个文件中，第一列相同的行合并到同一行中。举个例子，有两个文件，内容如下：

cat 1.txt
1 aa
2 bb
3 ee
4 ss

cat 2.txt
1 ab
2 cd
3 ad
4 bd
5 de

合并后的结果为：
1 ab aa
2 cd bb
3 ad ee
4 bd ss
5 de

实现的命令为：

awk 'NR==FNR{a[$1]=$2}NR>FNR{print $0,a[$1]}' 1.txt 2.txt

解释：NR表示读取的行数， FNR表示读取的当前行数，大家可以运行这个命令 awk '{print NR,FNR}' 1.txt 2.txt，比较NR和FNR

所以其实NR==FNR 就表示读取1.txt的时候。同理NR>FNR表示读取2.txt的时候

数组a其实就相当于一个map

把一个文件多行连接成一行

a=`cat file`;echo $a 
awk '{printf("%s ",$0)}' file   // %s 后记得要有一空格，否则出来就是完全连在一起的，中间连空格都没有
cat file |xargs

awk中gsub函数的使用

awk 'gsub(/www/,"abc")' /etc/passwd  // passwd文件中把所有www替换为abc
awk -F ':' 'gsub(/www/,"abc",$1) {print $0}' /etc/passwd  // 替换$1中的www为abc

awk 截取指定多个域为一行

用awk指定分隔符把文本分为若干段。如何把相同段的内容弄到一行？

以/etc/passwd为例，该文件以":"作为分隔符，分为了7段。

for i in `seq 1 7`
do
    awk -F ':' -v a=$i '{printf $a " "}' /etc/passwd
    echo 
done

grep 或 egrep 或awk 过滤两个或多个关键词

grep -E '123|abc' filename  // 找出文件（filename）中包含123或者包含abc的行
egrep '123|abc' filename    //用egrep同样可以实现
awk '/123|abc/'  filename // awk 的实现方式

用awk编写生成以下结构文件的程序

用awk编写生成以下结构文件的程序。( 最后列使用现在的时间，时间格式为YYYYMMDDHHMISS) 各列的值应如下所示，每增加一行便加1，共500万行。

1,1,0000000001,0000000001,0000000001,0000000001,0000000001,0000000001,2005100110101
2,2,0000000002,0000000002,0000000002,0000000002,0000000002,0000000002,2005100110101

#! /bin/bash

for i in `seq 1 5000000`; do
    n=`echo "$i"|awk '{print length($0)}'`
    export m=$[10-$n]
    export o=`perl -e '$a='0'; $b=$a x $ENV{"m"}; print $b;'`
    export j=$i
    p=`perl -e '$c=$ENV{"o"}.$ENV{"j"}; print $c;'`
    echo "$i,$i,$p,$p,$p,$p,$p,$p,`date +%Y%m%d%H%M%S`"
done

awk 'BEGIN{for(i=1;i<=10;i++)printf("%d,%d,%010d,%010d,%010d,%010d,%010d,%010d,%d\n",i,i,i,i,i,i,i,i,strftime("%Y%m%d%H%M%S"))}'

awk用print打印单引号

awk 'BEGIN{print "a'"'"'s"}'  //不用脱义，就多写几个单引号、双引号

awk 'BEGIN{print "a'\''s"}'  //用脱义，脱义的是单引号

awk 'BEGIN{print "a\"s"}'  //用脱义，脱义的是双引号

把两个文件中相同的行合并成一行

paste  filename1  filename2

这样就可以实现了,举个例子:

cat  a.txt
1 2 3 
4 5 6 
a b c

cat b.txt
3 2 1 
6 5 4 
c b a 

则  paste  a.txt  b.txt  结果为
1 2 3   3 2 1
4 5 6   6 5 4
a b c   c b a

如果，你想在两个文件连接处用一个指定的字符连接，还可以用-d来指定

paste -d '+'  a.txt b.txt
结果为
1 2 3+3 2 1
4 5 6+6 5 4
a b c+c b a

转载于:https://www.cnblogs.com/2KP2/p/9520356.html