正则表达式

最新推荐文章于 2025-12-30 10:08:15 发布
原创 最新推荐文章于 2025-12-30 10:08:15 发布 · 777 阅读 · 26 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#正则表达式 #linux #运维

正则表达式

【1】、三剑客与正则表达式

1、注意事项

  • 正则符号都是英文符号，避免使用中文符号
  • 推荐使用grep/egrep命令，默认设置了别名alias，自动加上颜色

【2】、符号概述

正则：regular expression （RE）

正则表达式regular expression符号
基础正则BRE^ $ . * .* [] [^]
扩展正则ERE| + （） ？ {}
其他类型正则（Perl语言类型正则）

【3】、基础正则

1、^ 以…开头

⚠️英文的符号

[root@Ansible-server /]# grep '^root' /etc/passwd
root:x:0:0:root:/root:/bin/bash

2、$ 以…结尾

[root@Ansible-server /]# grep 'nologin$' /etc/passwd
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin

❓为什么我看着文件中有但是却过滤不出来

文件明明是以"o"结尾的，为什么却过滤不出来呢？

[root@Ansible-server opt]# cat a.txt 
123mnmmlo 
[root@Ansible-server opt]# grep 'o$' a.txt

我们可以使用cat -A去查看一下文件

[root@Ansible-server opt]# cat -A a.txt 
123mnmmlo $

我们会发现文件的结尾出现了一个“$”,并且还有一个空格，这又是什么呢？

这主要是由于cat -A他显示出了文件中隐藏的符号，这个符号，在Linux中是一行结束的标志，每一行结束都要加一个这个符号，在Linux中是一行结束的标志，每一行结束都要加一个这个符号，在Linux中是一行结束的标志，每一行结束都要加一个,只不过在我们日常查看时，他是处于隐藏状态的，我们看不到

从这也就可以说明为什么在正则表达式中要用“$”去表示以什么结尾。

从上面的代码中我们可以看到，$和正文之间还有一个空格，也就是说明，正文并不是以o结尾的，而是以空格结尾。至此我们也就知道为什么我们查不到以o结尾的数据了。

我们可以这样做，问题被解决

[root@Ansible-server opt]# grep ' $' a.txt 
123mnmmlo

3、^$ 匹配空行

[root@Ansible-server opt]# grep -n '^$' a.txt 
2:

一般来说我们是不想看空行的

因此会把空行过滤出去grep -v，反向过滤

[root@Ansible-server opt]# grep -n -v '^$' a.txt 
1:123mnmmlo
4:afasg

开生产环境中，我们一般会排除空行和#开头的行（注释行），这些会影响我们的观感

[root@Ansible-server opt]# grep  -v '^$' /etc/ssh/sshd_config | grep -v '^#'

4、. 任意一个字符

初学正则时，很少单独使用

不匹配空行

[root@Ansible-server opt]# grep -n . a.txt 
1:123mnmmlo
4:afasg
  • grep -o：显示正则表达式匹配到了什么内容，以及正则表达式的匹配过程
  • image-20240430161652092

5、\撬棍

转义字符，去掉特殊符号的含义，让其表示原本的内容

通常和.使用搭配使用

例如：我们相匹配文件中所有以.结尾的行

如果我们直接使用.$,匹配到的是所有行，因此我们就需要将.的特殊含义去除

[root@Ansible-server opt]# grep -n '.$' a.txt 
1:123mnmmlo
3:af.
4:23452rtryret.
5:afasg 

[root@Ansible-server opt]# grep -n '\.$' a.txt 
3:af.
4:23452rtryret.

**6、* 前一个字符连续出现0次或0次以上 **

理解什么是连续/重复

111 数字1连续出现了3次

2222 数字2连续出现了4次

weqqrqq 英文字母连续出现了7次

12we 英文字母和数字连续出现了4次

这些都可以算是连续出现，而不是说只有出现相同的内容才算连续出现

❓我们去过滤“2*”，我们发现所有的都过滤出来了，这是为什么呢？

* 他可以匹配0次或0次以上的内容，那就可以解释为，不是2 的内容，我们就认为其是 2 出现了0次，因此也就满足要求，可以匹配出来

[root@Ansible-server opt]# grep -n '2*' a.txt 
1:123mnmmlo
2:
3:af.
4:23452rtryret.
5:112222fgh
6:2225564vvv
7:afasg 
8:222

7、.* 所有

使用频率特别高，表示所有，任何东西

  • .表示任意字符
  • *表示0次或0次以上匹配
  • .*表示匹配所有
[root@Ansible-server opt]# grep -n '^.*linux' a.txt 
5:I learn linux
6:I do not learn linux

贪婪匹配

正则表达式表示连续出现或者表示所有的时候正则表达式会体现出贪婪性，尽可能多的去匹配

他会一直去匹配a，直到最后一个

image-20240430165142163

8、[]匹配任意一个字符

[abc]：表示匹配a或者b或者c

匹配中括号中的任意一个字符

image-20240430165205434

⚠️[]会自动去掉特殊符号的特殊含义

9、[^]表示过滤除了中括号中的内容

[^abc]：表示过滤文件中除了abc之外的内容

[root@Ansible-server opt]# grep -n '[^a-z]' a.txt 
1:123mnmmlo
7:iaflknklanaaanubkbajo9878970akbjkhakj6797
8:222

【4】、扩展正则

  • grep不支持扩展正则的使用
  • egrep 支持扩展正则
  • sed 使用sed -r支持扩展正则
  • awk 默认支持扩展正则

1、+ 前一个字符连续出现1次或1次以上

  • 一般搭配着【】一起使用

  • 去除连续出现的2

    [root@Ansible-server opt]# grep '2+' a.txt 
[root@Ansible-server opt]# egrep '2+' a.txt 
123mnmmlo
222

  • 连续出现的数字

    [root@Ansible-server opt]# egrep '[0-9]+' a.txt 
123mnmmlo
iaflknklanaaanubkbajo9878970akbjkhakj6797
222

  • 连续出现的单词

    [root@Ansible-server opt]# egrep '[a-Z]+' a.txt 
123mnmmlo
iaflknklanaaanubkbajo9878970akbjkhakj6797
[root@Ansible-server opt]# egrep -o '[a-Z]+' a.txt 
mnmmlo
iaflknklanaaanubkbajo
akbjkhakj

  • 统计单词出现的次数

    [root@Ansible-server opt]# egrep -o '[a-Z]+' a.txt | sort | uniq -c
      1 akbjkhakj
      1 iaflknklanaaanubkbajo
      1 mnmmlo

2、| 或者

一般是过滤出含有单词1或者含有单词2的行

[root@Ansible-server opt]# egrep -n 'linux|apple' a.txt 
3:apple agsag  vv
4:linux wrathh apple

在/etc/services中过滤出：ssh或http或smtp

[root@Ansible-server opt]# egrep 'ssh|http|stmp' /etc/services

排除/etc/ssh/sshf_conf中的空行和注释行

[root@Ansible-server opt]# egrep -v -n '^$|^#' /etc/ssh/sshd_config

3、()表示一个整体，或者后向引用

（）表示一个整体或者在sed中表示后向引用

[root@Ansible-server ~]# rpm -qa | egrep '^tree|^vim|^sl'
vim-enhanced-8.0.1763-19.el8_6.4.x86_64
vim-filesystem-8.0.1763-19.el8_6.4.noarch
vim-common-8.0.1763-19.el8_6.4.x86_64
tree-1.7.0-15.el8.x86_64
vim-minimal-8.0.1763-19.el8_6.4.x86_64
slang-2.3.2-3.el8.x86_64
slirp4netns-1.2.1-1.module+el8.9.0+19731+94cfa27e.x86_64
sl-5.02-1.el8.x86_64
# 表示一个整体
[root@Ansible-server ~]# rpm -qa | egrep '^(tree|vim|sl)'
vim-enhanced-8.0.1763-19.el8_6.4.x86_64
vim-filesystem-8.0.1763-19.el8_6.4.noarch
vim-common-8.0.1763-19.el8_6.4.x86_64
tree-1.7.0-15.el8.x86_64
vim-minimal-8.0.1763-19.el8_6.4.x86_64
slang-2.3.2-3.el8.x86_64
slirp4netns-1.2.1-1.module+el8.9.0+19731+94cfa27e.x86_64
sl-5.02-1.el8.x86_64

4、{}

格式
a{n,m}表示连续出现的范围
a{n}匹配固定的次数
a{n,}前一个字符至少出现n次
a{,m}前一个字符连续出现，最多m次

image-20240505162603616

image-20240505162701800``

## 匹配身份证
[root@Ansible-server opt]# egrep '[0-9]{17}[0-9X]$' a.txt

5、？

表示前一个字符出现0或1次

一般用于匹配的内容可能有（出现1次）或者没有出现（出现0次）

image-20240505164615091

6、扩展正则小结

扩展正则含义
+⭐️⭐️⭐️⭐️⭐️前一个字符连续出现一次或者多次
|⭐️⭐️⭐️⭐️⭐️或者
()⭐️⭐️🅰️表示整体 🅱️表示后向引用（sed中）
{}表示前一个字符出现的次数范围
？前一个字符出现0或者1次
基础正则含义
^⭐️⭐️⭐️⭐️⭐️以…开头
$⭐️⭐️⭐️⭐️⭐️以…结尾
^$⭐️⭐️⭐️⭐️⭐️过滤空行
.任意字符
\转义字符、撬棍
*前一个字符出现0次或0次以上
.*⭐️⭐️⭐️⭐️⭐️匹配所有字符
[]⭐️⭐️⭐️⭐️⭐️[abc]，匹配a或b或c
[^]取反

【5】、perl语言正则表达式

  • perl正则

支持perl正则的命令

grep -P

符号含义
/d[0-9]
/w[0-9a-zA-Z]
/s匹配空字符 空格 tab 等等[\ \t\r\n\f]
/D[^0-9]
/S非空字符
/W排除数字，大小写字母和_

二十二、三剑客与正则系列-awk与sed

【1】、sed

1、概述

  • 核心功能：取行、过滤、替换修改文件内容
  • 难点：后向引用（截取）
  • sed stream editor(流式编辑器)

2、命令格式

  • 命令格式1：前置命令 | sed [选项] ‘[指令]’ 文件名

  • 命令格式2：sed [选项] ‘[指令]’ 文件名

参数含义
-n屏蔽默认输出，默认sed会将所有的输出结果输出到屏幕中，-n只把sed处理的行输出到屏幕
如果不使用-n参数，那么输出的内容会输出两遍，也就是说-n屏蔽的是sed -p的默认输出
-i直接修改文件内容，如果不加-i选项，并不会真正改变文件的内容
-r使用扩展正则，若与其他选项一起使用，此选项应该在首位
-i.bak修改文件内容之前先进行备份，然后再修改内容(一般用于替换一个文件)，这个参数要放在所有参数的最后面

3、执行流程

sed 的工作流程

  • 读取：sed从输入流（文件、管道、stdin）中读取一行内容并保存到临时文件缓冲区中（又称模式空间：pattern space）

  • 执行：默认情况下，所有的sed命令都在模式空间中顺序地执行，除非制定了行的地址，否则sed命令将会在所有命令行上依次执行

  • 显示：发送修改后的内容到输出流，在发送数据后，模式空间（pattern space）将会被清除

在所有的文件内容都被处理完成之前，上述过程将会重复执行，直至所有的内容被处理完成

在默认情况下，所有的sed命令都是在pattern space中完成的，因此输入的文件不会有任何变化，除非是用重定向存储输出

4、sed查找

一种是类似于grep的模糊查找（正则查询）

​ 类似于grep命令的过滤，比grep强在可以指定行号

一种是精确查找，行号

（1）、取出文件的第三行

-n：取消默认输出，sed在处理文件的时候会默认的输出每一行的内容

p：表示输出，一般和-n搭配使用

[root@Ansible-server opt]# sed -n '3p' a.txt 
goooood
（2）、取出2到5行
[root@Ansible-server opt]# sed -n '2,5p' /etc/passwd 
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
（3）、取出2行和5行
[root@Ansible-server opt]# sed -n '2p;5p' /etc/passwd 
bin:x:1:1:bin:/bin:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
（4）、过滤出包含root的行

⚠️sed支持过滤某一个内容

/内容/p，打印出过滤的内容

sed支持正则，默认是支持基础正则

-r参数可以让其支持扩展正则

[root@Ansible-server opt]# sed -n '/root/p' /etc/passwd
root:x:0:0:root:/root:/bin/bash
operator:x:11:0:operator:/root:/sbin/nologin
stap-server:x:155:155:Systemtap Compile Server:/opt/rh/gcc-toolset-11/root/var/lib/stap-server:/sbin/nologin
[root@Ansible-server opt]# sed -n '/^root/p' /etc/passwd
root:x:0:0:root:/root:/bin/bash
[root@Ansible-server opt]# sed -r -n '/^(root|bin)/p' /etc/passwd
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
（5）、模拟过滤日志
[root@Ansible-server log]# cat sed.txt 
101,xiaoxu,ccc
102,xiaoli,bbb
103,xiaowang,ddd
104.xiaozhao,qqq
110.xxx,vvv
[root@Ansible-server log]# sed -n '/101/ , /104/p' sed.txt 
101,xiaoxu,ccc
102,xiaoli,bbb
103,xiaowang,ddd
104.xiaozhao,qqq
（6）、查找功能小结
  • 核心掌握：
    • 根据行号查找，模糊查找//，模糊表示范围（日志）
    • 注意这里提到的行号，//方式到表示条件（找谁），除了给p（查找）用，还可以给修改，增加，删除使用
  • 过滤时与grep类似支持正则表达式，sed -r支持扩展正则
  • sed可以指定行号，sed表示过滤范围

5、sed修改（替换）

sed命令的替换格式说明

sed ‘s#找谁#提供换成什么#g’ sed.txt

sed ‘s###g’ sed.txt

推荐使用： ### @@@ ///

当查找替换的内容是# @ / 时就不要使用对应的符号作为分隔符了

s substitute 替换

g global 全局替换，这一行中把所有匹配到的内容都进行替换，如果不加g，则只替换每一行的第一个匹配到的内容

-i参数：直接修改文件内容，如果不加-i选项，并不会真正改变文件的内容。动作指令d、s和选项-i是在搭配一起使用的

修改文件内容之前先进行备份，然后再修改内容(一般用于替换一个文件) -i.bak

[root@Ansible-server log]# sed 's#[0-9]#ccc#g' sed.txt 
ccccccccc,xiaoxu,ccc
ccccccccc,xiaoli,bbb
ccccccccc,xiaowang,ddd
ccccccccc.xiaozhao,qqq
ccccccccc.xxx,vvv
[root@Ansible-server log]# sed 's#[0-9]#ccc#' sed.txt 
ccc01,xiaoxu,ccc
ccc02,xiaoli,bbb
ccc03,xiaowang,ddd
ccc04.xiaozhao,qqq
ccc10.xxx,vvv
[root@Ansible-server log]# sed -i.bak 's#xiaoxu#lili#g' sed.txt 
[root@Ansible-server log]# ls sed.txt
sed.txt
[root@Ansible-server log]# ll  sed.txt*
-rw-r--r--. 1 root root 74 May  5 19:59 sed.txt
-rw-r--r--. 1 root root 76 May  5 19:16 sed.txt.bak
  • 小结
    • 核心掌握sed命令替换的格式
    • 核心掌握-i用法

6、sed替换进阶

（1）、后向引用格式

应用说明

后向引用或反向引用：适用于sed命令处理/提取某一行中的部分内容，sed命令配合正则实现取列（类似于awk命令）

是sed命令中用于处理列的方式

使用格式

使用替换形式：s###g

前2个井号之间通过正则与（），对数据进行分组，每一个（）是一个组

后面两个井号之间通过\数字，去调用前面分组的内容

整体式后面调用前面分组的内容，称之为反向引用/后向引用

应用场景：某一行中对部分数据进行加工与处理，提取某一部分数据

[root@Ansible-server log]# echo 12345678 | sed -r 's#(1)(.*)(8)#\1<\2>\3#g' 
1<234567>8
（2）、案例01

交换/etc/passwd下第一列和第二列的内容

[root@Ansible-server opt]# sed -r 's#(^.*)(:.*:)(.*$)#\3\2\1#g' passwd 
/bin/bash:/root:root:x:0:0:root
（3）、案例02

提取IP

[root@Ansible-server opt]# ip address show ens160 | sed -n '4p' | sed -r 's#(^.* )(.*)(/.*$)#\2#g'
192.168.121.141
（4）、案例03

取出stat /etc/hosts中的0644或644

7、sed删除

  • d：sed命令删除是按照行为单位进行
  • 如果仅仅删除某一行的一个字符，使用替换
[root@Ansible-server opt]# sed  '1,3d' /var/log/sed.txt
104.xiaozhao,qqq
110.xxx,vvv

  • 案例

  • 排除文件中的空行和带注释的行

    [root@Ansible-server opt]# sed -r '/^$|#/d' /etc/ssh/sshd_config
[root@Ansible-server opt]# egrep -v '^$|#' /etc/ssh/sshd_config
[root@Ansible-server opt]# awk '!/^$|#/' /etc/ssh/sshd_config

8、sed增加

  • cai
    • a：append，在指定行后面追加内容
    • i：insert，在指定行上面加上内容
    • c：replace，清空当前行，后续的内容作为当前行的内容
[root@Ansible-server opt]# cat sed.txt 
101,lili,ccc
102,xiaoli,bbb
103,xiaowang,ddd
104.xiaozhao,qqq
110.xxx,vvv
[root@Ansible-server opt]# sed '3a hahaha' sed.txt 
101,lili,ccc
102,xiaoli,bbb
103,xiaowang,ddd
hahaha
104.xiaozhao,qqq
110.xxx,vvv
[root@Ansible-server opt]# sed '3i hahaha' sed.txt 
101,lili,ccc
102,xiaoli,bbb
hahaha
103,xiaowang,ddd
104.xiaozhao,qqq
110.xxx,vvv
[root@Ansible-server opt]# sed '3c hahaha' sed.txt 
101,lili,ccc
102,xiaoli,bbb
hahaha
104.xiaozhao,qqq
110.xxx,vvv

9、小结

image-20240505222306673

【2】、awk

  • awk：单行脚本
  • 核心 awk：取行
  • 核心 awk：取列
  • 核心 awk：混合取行取列
  • awk：统计功能
  • 未来：判断循环
  • 未来：数组

1、awk概述

四剑客特点擅长
find查找文件查找文件，与其他命令配合
grep/egrep过滤过滤速度最快
sed过滤、取行、替换、删除替换修改文件内容、取行
awk过滤、取行、取列、统计计算、判断、循环…取行、取列、统计计算
  • awk是一种语言，叫做单行脚本

1、格式

取出/etc/passwd中的第1行的第1列、第3列和最后一列

awk -F: NR==1{print $1,$3,$NF} ’ /etc/passwd

awk -F: ‘条件{动作}’ /etc/passwd

条件：找谁

动作：干啥

2、awk取行

1️⃣取出/etc/passwd中的第一行

NR：Number of Record 记录号、行号。也可以写大于几行，小于几行

{print $0}：输出整行内容，$0表示当前的内容

## 简写
[root@Ansible-server ~]# awk 'NR==1' /etc/passwd
root:x:0:0:root:/root:/bin/bash
## 完整写法
[root@Ansible-server ~]# awk 'NR==1{print $0}' /etc/passwd
root:x:0:0:root:/root:/bin/bash
[root@Ansible-server ~]# awk 'NR>=6{print $0}' /etc/passwd

2️⃣取/etc/passwd出2-5行的内容

&&：表示并且，and

||：表示或者，or

[root@Ansible-server ~]# awk 'NR>=2 && NR<=5{print $0}' /etc/passwd
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin

3️⃣过滤出/etc/passwd文件中包含root或者nobody的行

[root@Ansible-server ~]# awk '/root|nobody/' /etc/passwd
root:x:0:0:root:/root:/bin/bash
operator:x:11:0:operator:/root:/sbin/nologin
nobody:x:65534:65534:Kernel Overflow User:/:/sbin/nologin
stap-server:x:155:155:Systemtap Compile Server:/opt/rh/gcc-toolset-11/root/var/lib/stap-server:/sbin/nologin

4️⃣从包含root的行开始输出到包含nobody的行，可以使用这个功能实现截取一个时间段的日志

[root@Ansible-server ~]# awk '/root/ , /nobody/' /etc/passwd

  • 小结

    • awk+NR：取出指定的行，指定范围的行

    • awk+//：过滤

    • awk+其他变量：用于精确过滤（讲完取列就可以使用）

      [root@Ansible-server ~]# awk -F: '$3==0' /etc/passwd
root:x:0:0:root:/root:/bin/bash

3、awk取列

1️⃣使用awk取出ls -lh的表示大小的列和最后一列

  • NF：表示有多少列
  • $NF：最后一列
[root@Ansible-server opt]# ls -lh | awk '{print $5,$9}'
[root@Ansible-server opt]# ls -lh | awk '{print $5,$NF}'
49 a.txt
4.0K mplayer
2.1K passwd
93 rh
12G rhel8.8.iso
74 sed.txt
[root@Ansible-server opt]# ls -lh | awk 'NR>1{print $5,$NF}' | column -t   
49    a.txt
4.0K  mplayer
2.1K  passwd
93    rh
12G   rhel8.8.iso
74    sed.txt
[root@Ansible-server opt]# echo 123 355 6667 87678 23 | awk '{print $(NF-1),$NF}'
87678 23

2️⃣取出/etc/passwd中第一列、第三列和第五列

-F：指定列之间的分隔符，如果不加-F则默认是空格，-F也支持正则指定分隔符

[root@Ansible-server opt]# awk -F: '{print $1,$3,$NF}' /etc/passwd | column -t

3️⃣指定复杂分隔符取出IP

⚠️在inet前有多个空格，对于awk，如果使用-F参数，每遇到一个空格就切一刀，因此为了实现把所有连续的空格作为一个整体一起切断，我们需要在正则匹配分隔符时加上+号。

[root@Ansible-server opt]# ip address show ens160 | awk 'NR==4' | awk '{print $2}' | awk -F'/' '{print $1}'
192.168.121.141
## 进行简化
[root@Ansible-server opt]# ip address show ens160 | awk 'NR==4' | awk -F'[ /]+' '{print $3}'
192.168.121.141
[root@Ansible-server opt]# ip address show ens160 | awk 'NR==4' | awk -F'inet |/24' '{print $2}'
192.168.121.141
  • 小结
    • 如果是空格、连续空格，直接使用awk取列即可
    • 其他情况使用-F指定分隔符，必要时加正则实现

4、awk取行取列

awk 格式 ‘条件{动作}’

🌟🌟🌟🌟🌟取行+取列 取IP地址

[root@Ansible-server opt]# ip address show ens160 | awk -F'[ /]+' 'NR==4{print $3}'
192.168.121.141

🌟🌟🌟🌟🌟对列的判断，取出/etc/passwd文件中第三列大于1000的行，取出这些行的第一列、第三列和最后一列

[root@Ansible-server opt]# awk -F: '$3>1000{print $1,$3,$NF}' /etc/passwd | column -t
nobody    65534  /sbin/nologin
xiaoli    1001   /bin/bash
xiaowang  1002   /bin/bash

如果系统swap使用超过0则输出异常

  • 条件
    • 过滤出swap
    • 第三列，大于0
  • 动作
    • 输出“异常”
[root@Ansible-server ~]# free | awk 'NR==3 && $3>0 {print "异常"}'

过滤出/etc/passwd第四列的数字是以0或1开头的行，输出第一列、第三列、第四列

🍃awk中通过~可以实现对某一列进行过滤

某一列中含有xxx内容：

  • ~ 表示包含的意思 $1 ~ /root/ 表示第一列中包含root
  • !~表示不包含
  • 之前^和$表示某一行的开头或者结尾
  • 在awk中因为awk可以取列，通过列可以过滤出一列中包含什么…过滤出一列中以xxxx开头或者结尾的行
[root@Ansible-server ~]# awk -F: '$4 ~ /^[01]/ {print $1,$3,$4}' /etc/passwd | column -t

5、awk统计和计算

awk进行统计有两类案例：

1️⃣类似于wc -l统计次数

2️⃣进行累加、求和

（1）、统计次数

统计/etc/passwd中的行数

使用awk进行行数统计

⚠️由于awk的执行过程是一行一行的读取，END后面的内容是要在所有的行都读取完成后在执行

[root@Ansible-server ~]# awk '{i=i+1} END{print i}' /etc/passwd
40
（2）、累加、求和
[root@Ansible-server ~]# seq 10 | awk '{sum=sum+$1}END{print sum}'
55

6、awk总结

  • 核心：awk取行取列
  • 熟悉：awk对列比较大小
  • 熟悉：awk对列进行过滤计算
  • 难点：awk计算、求和

二十三、三剑客练习题

【1】、练习1

过滤出/etc/passwd中包含的root和nobody的行

egrep 'root|nobody' /etc/passwd
sed -r '/root|nobody/p' /etc/passwd
sed -r '/root|nobody/!d' /etc/passwd
awk '/root|nobody/' /etc/passwd

过滤出/etc/passwd中以root开头的行

egrep '^root' /etc/passwd
sed '^root' /etc/passwd
sed -r '/^root/!d' /etc/passwd
egrep '/^root/' /etc/passwd

在/etc/ssh/sshd_config中过滤出包含permitrootlogin或usedns的行（忽略大小写）

egerp -i 'permitrootlogin|usedns' /etc/ssh/sshd_config
sed -r -n '/permitrootlogin|usedns/Ip' /etc/ssh/sshd_config
## I忽略大小写
sed -r  '/permitrootlogin|usedns/I!d' /etc/ssh/sshd_config
awk -vIGNORECASE=1 '/permitrootlogin|usedns/' /etc/ssh/sshd_config

取出/etc/passwd中以bash结尾的行

egrep 'bash$' /etc/passwd
sed -rn '/bash$/p' /etc/passwd
sed -r '/bash$/!d' /etc/passwd
awk '/bash$/' /etc/passwd

显示/etc/下面一层中以.conf结尾的文件

ls /etc/ | grep '\.conf$'
ls /etc/ | sed '\.conf$'
ls /etc/ | awk '\.conf$'
find /etc/ -maxdepth 1 -type f -name '*.conf'

使用yum安装软件失败了，如何检查是否能联网

[root@Ansible-server ~]# ping mirrors.aliyun.com

使用grep取出/etc/passwd第一列数据

[root@Ansible-server ~]# awk -F: '{print $1}' /etc/passwd
[root@Ansible-server ~]# grep -Po '^[\w-]+' /etc/passwd
[root@Ansible-server ~]# egrep -o '^[^:]+' /etc/passwd
[root@Ansible-server ~]# sed  's/:.*$//g' /etc/passwd
## 后向引用
[root@Ansible-server ~]# sed -r 's#(^[^:]+)(:.*$)#\1#g' /etc/passwd

把上题结果写入文件中

[root@Ansible-server ~]# sed -r 's#(^[^:]+)(:.*$)#\1#g' /etc/passwd > ./a.txt

如何查看文件内容，命令有什么？

## 查看文件
vim vi cat head tail more less grep awk sed 
## 查看日志
head tail less more grep sed awk

查看文件1-3行和最后一行

## 查看文件1-3行
head -3 a.txt
sed -n '1,3p' a.txt
awk 'NR>=1&&NR<=3' a.txt
## 查看文件最后一行
tail -1 a.txt
sed -n '$p' a.txt
awk 'END{print}' a.txt

取出/etc/passwd文件中每个字符，过滤后统计出每个字符出现的次数，取出出现次数最多的前10名

[root@Ansible-server ~]# grep -o '.' /etc/passwd | sort | uniq -c| sort -rn| head -5
    222 :
    163 n
    147 /
    142 s
    142 o

取出/etc/passwd文件中每个单词，过滤后统计出每个字符出现的次数，取出出现次数最多的前5名

[root@Ansible-server ~]# egrep -o '[a-Z]+' /etc/passwd | sort | uniq -c| sort -rn| head -5
     39 sbin
     37 x
     33 nologin
     14 var
      8 User

【2】、练习2

下面所有的练习均是基于/etc/passwd文件进行

删除文件每一行的第一个字符

[root@Ansible-server ~]# sed 's#^.##g' /etc/passwd
## 使用后向引用实现
[root@Ansible-server ~]# sed -r 's#(^.)(.*$)#\2#g' /etc/passwd

删除文件每一行的第二个字符

[root@Ansible-server ~]# sed -r 's#(^.)(.)(.*$)#\1\3#g' /etc/passwd

删除文件每一行的最后一个字符

[root@Ansible-server ~]# sed 's#.$##g' /etc/passwd

删除文件每一行的第二个单词

[root@Ansible-server ~]# sed -r 's#([a-Z]+)([:-_])([a-Z]+)(.*$)#\1\2\4#g' /etc/passwd
[root@Ansible-server ~]# sed -r 's#(^[a-Z]+)([^a-Z]+)([a-Z]+)(.*$)#\1\2\4#g' /etc/passwd

删除文件每一行的倒数第二个单词

[root@Ansible-server ~]# sed -r 's#([^a-Z]+)([a-Z]+)([^a-Z]+)([a-Z]+$)#\1\3\4#g' /etc/passwd

删除文件每一行的最后一个单词

[root@Ansible-server ~]# sed -r 's#[a-Z]+$##g' /etc/passwd

交换每一行的第一个字符和第二个字符

[root@Ansible-server ~]# sed -r 's#^([a-Z])([a-Z])#\2\1#g' /etc/passwd

交换每一行第一个字符和第二个单词调换位置

[root@Ansible-server ~]# sed -r 's#^(.)(.*:)(x)#\3\2\1#' /etc/passwd

交换每行第一个单词和最后一个单词

[root@Ansible-server ~]# sed -r 's#(^[a-Z]+)(.*/)([a-Z]+$)#\3\2\1#g' /etc/passwd

删除文件中所有的数字

⚠️不可以使用/d去删除

因为在sed中/d是基于一整行去删除的

[root@Ansible-server ~]# sed -r 's#[0-9]##g' /etc/passwd

用制表符替换文件中出现的所有的空格

[root@Ansible-server ~]# sed 's# #\t#g' /etc/passwd

把所有的大写字母用括号括起来

[root@Ansible-server ~]# sed -r 's#([A-Z])#(\1)#g' /etc/passwd

打印每行三次

[root@Ansible-server ~]# sed -n 'p;p;p' /etc/passwd

隔行删除

[root@Ansible-server ~]# seq 10 | sed '1~2d'
2
4
6
8
10

只显示每行第一个单词

[root@Ansible-server ~]# grep -Po '^\w+' /etc/passwd
[root@Ansible-server ~]# egrep -o '^[a-Z]+' /etc/passwd

打印每行第一个单词和第三个单词

[root@Ansible-server ~]# sed -r 's#(^[a-Z]+)[^a-Z]+([a-Z]+)[^a-Z]+([a-Z]+).*$#\1_\3#g' /etc/passwd

【3】、练习3

将格式xx/xx/xx/替换为xx:xx:xx

sed 's#/#:#g' a.txt

找出系统中UID在100-500的用户名

 awk -F: '$3>100 && $3<500{print $1}' /etc/passwd

将域名取出并根据域名进行计数排序处理（souhu和baidu面试题）

[root@Ansible-server ~]# cat url.txt 
http://www.etiantian.org/index.html
http://www.etiantian.org/1.html
http://post.etiantian.org/index.html
http://mp3.etiantian.org/index.html
http://www.etiantian.org/3.html
http://post.etiantian.org/2.html
[root@Ansible-server ~]# awk -F/ '{print $3}' url.txt | sort -rn | uniq -c | awk '{print "count:"$1,"url:"$2}'

测试环境信息：

cat >>req.txt<<EOF
Zhang Dandan 41117397 :250💯175

Zhang Xiaoyu 390320151 :155:90:201
Meng Feixue 80042789 :250:60:50
Wu Waiwai 70271111 :250:80:75
Liu Bingbing 41117483 :250💯175
Wang Xiaoai 3515064655 :50:95:135
Zi Gege 1986787350 :250:168:200
Li Youiiu 918391635 :175:75:300
Lao Nanhai 918391635 :250💯175
EOF

测验题目

1、显示Xiaoyu的姓氏和id号码

awk '$2~/Xiaoyu/{print $1,$2,$3}' req.txt

2、显示姓氏是Zhang，显示他第二次捐款金额及他的名字

awk -F[ :] '/^Zhang/{print $2,$(NF-1)}' req.txt

3、显示所有以41开头的id号码的人的全名和id号码

awk '$3~/^41/{print $1,$2,$3}' req.txt

4、显示所有id号码最后一位是1或5的人的全名

[root@Ansible-server ~]# awk '$3~/(1|5)$/{print $1,$2}' req.txt

5、显示Xiaoyu的捐款，每个值前面都以$开头

sed -n '/^Zhang Xiaoyu/p' req.txt  | awk -F: '{print "$"$2,"$"$3,"$"$4}'
# 另外一种方式，awk也可以实现替换功能，通过gsub函数
[root@Ansible-server ~]# sed -n '/^Zhang Xiaoyu/p' req.txt  | awk  '{gsub(":","$",$NF);print $4}'
$155$90$201

【4】、终极测验

统计access.log网站服务访问日志信息

1、每个IP地址的访问次数（第一列）

awk '{print $1}' access.log | sort | uniq -c | sort -rn | head

2、一共使用了多少流量（第十列）

awk '{i=i+$10}END{print i}' access.log

3、每个状态码出现的次数（第九列）

awk '{print $9}' access.log | sort | uniq -c | sort -rn | head

4、图片占用的流量（第七列中以.jpg或.png或.gif结尾的，第十列是流量）

awk '$7~/\.(png|jpg|gif)/{sum+=$10}END{print sum/1024^3}' access.log

918391635 :175:75:300

Lao Nanhai 918391635 :250💯175
EOF

测验题目

1、显示Xiaoyu的姓氏和id号码

awk '$2~/Xiaoyu/{print $1,$2,$3}' req.txt

2、显示姓氏是Zhang，显示他第二次捐款金额及他的名字

awk -F[ :] '/^Zhang/{print $2,$(NF-1)}' req.txt

3、显示所有以41开头的id号码的人的全名和id号码

awk '$3~/^41/{print $1,$2,$3}' req.txt

4、显示所有id号码最后一位是1或5的人的全名

[root@Ansible-server ~]# awk '$3~/(1|5)$/{print $1,$2}' req.txt

5、显示Xiaoyu的捐款，每个值前面都以$开头

sed -n '/^Zhang Xiaoyu/p' req.txt  | awk -F: '{print "$"$2,"$"$3,"$"$4}'
# 另外一种方式，awk也可以实现替换功能，通过gsub函数
[root@Ansible-server ~]# sed -n '/^Zhang Xiaoyu/p' req.txt  | awk  '{gsub(":","$",$NF);print $4}'
$155$90$201

【4】、终极测验

统计access.log网站服务访问日志信息

1、每个IP地址的访问次数（第一列）

awk '{print $1}' access.log | sort | uniq -c | sort -rn | head

2、一共使用了多少流量（第十列）

awk '{i=i+$10}END{print i}' access.log

3、每个状态码出现的次数（第九列）

awk '{print $9}' access.log | sort | uniq -c | sort -rn | head

4、图片占用的流量（第七列中以.jpg或.png或.gif结尾的，第十列是流量）

awk '$7~/\.(png|jpg|gif)/{sum+=$10}END{print sum/1024^3}' access.log
一看就懂：正则表达式
小白一个
03-25 9万+
案例引入 在讲正则表达式前，我们不妨先从一个场景来逐渐引入。 你可能有过这样的经历：我们去某些网站注册帐号，当你在设置密码的时候，网站会提示你密码的长度范围，以及对应的规则限制（如下图）。 根据上图，我们将密码设置规则可以描述为两个条件： （1）长度为6-16位； （2）密码中必须包含数字，大写字母，小写字母，特殊字符（指定字符）； 现在假设我们不知道正则表达式，作为程序员的你，该如何去实现这样一个密码验证呢？ 下面是我写的一个校验方法（样本）： /** * 校验用户密码是否满足..
【正则表达式】身份证正则表达式详解（史上最全、最详细）
tttzzzqqq2018的博客
05-20 1万+
【详解】【正则表达式】身份证正则表达式详解（史上最全、最详细）
关于邮箱的正则表达式
热门推荐
weixin_42698221的博客
09-01 4万+
关于邮箱规范的正则表达式
正则表达式详解
qq_52066954的博客
03-07 5940
【1】为什么需要正则表达式(regular expresssion)？ 针对于复杂文本的处理 【2】正则表达式的优势和用途 正则表达式是一种强大而灵活的文本处理工具，适用于大部分编程语言、数据库、文本编辑器、开发环境等 【3】正则表达式的定义 正则表达式定义文本的规则，可以通过该规则判断什么字符串符合规则 【4】开发中使用正则表达式的流程 1.分析所要匹配的数据，写出测试用的典型数据 2.在工具软件中进行匹配测试 3.在程序中调用通过测试了的正则表达式 【5】正则表达式测试工具R
C++ 正则表达式教程：C++ 中的正则表达式与示例
weixin_43229348的博客
05-10 1万+
C++ 正则表达式教程解释了 C++ 中正则表达式的工作，包括正则表达式匹配、搜索、替换、输入验证和标记化的功能。 几乎所有的编程语言都支持正则表达式。 C++ 从 C++11 开始直接支持正则表达式。除了编程语言之外，大多数文本处理程序（如词法分析器、高级文本编辑器等）都使用正则表达式。 在本教程中，我们将探讨正则表达式的一般细节以及 C++ 编程方面的细节。 正则匹配中的基础符号 ^开头 ()组 []或, {}几次 $结尾 1. C++ 中的正则表达式 (Regex) 正则表达式是包含一系列字符的表达
SQL正则表达式用法大全以及如何利用正则表达式处理复杂数据
m0_65776770的博客
01-15 3367
SQL正则表达式用法大全以及如何利用正则表达式处理复杂数据
正则表达式 空格匹配
菜鸟记录
08-03 4336
⏹正则表达式 空格匹配
JavaScript正则表达式：正则表达式中的特殊字符
薛定谔的猫
12-03 6564
正则表达式的组成一个正则表达式可以由简单的字符构成，比如 /abc/，也可以是简单和特殊字符的组合，比如 /ab*c/ 。其中特殊字符也被称为元字符，在正则表达式中是具有特殊意义的专用符号，如 ^ 、$ 、+ 等。特殊字符非常多，可以参考： MDN：正则表达式 - JavaScript | MDN (mozilla.org)jQuery 手册：正则表达式部分正则测试工具: 在线正则表达式测试这里我们把元字符划分几类学习 。边界符正则表达式中的边界符（位置符）用来提示字符所处的位置，主要有两个字符。 如果 ^
正则表达式 文本匹配
菜鸟记录
06-16 2135
⏹正则表达式 文本匹配
精选资源
强大的离线正则表达式生成工具
03-10
正则表达式（Regular Expression，简称regex）是用于匹配字符串的一种模式，广泛应用于文本处理、数据验证、搜索和替换等场景。它通过一系列特定的字符和语法构建出一个规则，来匹配符合该规则的字符串。在IT行业中...
正则表达式-正则表达式
10-10
正则表达式是一种特殊的字符序列，用于匹配一组字符串，根据特定的规则来设定字符组合的模式。正则表达式广泛应用于编程语言和文本处理工具中，用于查找、替换、删除或提取特定的字符或字符串组合。在文本编辑器、...
精选资源
qt使用正则表达式限制lineEdit的输入，对正则表达式进行了封装，可以直接引入，工程编译正常
08-08
在Qt框架中，正则表达式（Regular Expression）是一种强大的文本处理工具，它允许程序员以结构化的方式匹配、查找、替换或验证字符串。本项目针对Qt的lineEdit组件，通过正则表达式实现了输入限制功能，使得lineEdit...
精选资源
《正则表达式详解》.pdf
10-11
正则表达式是用于匹配和替换文本的一组具有特定含义的字符串，也叫做匹配模式或Pattern。正则表达式的概念起源于对人类神经系统工作原理的研究，后由Warren McCulloch和Walter Pitts两位科学家发展出数学描述神经...
SQL 正则表达式及mybatis中使用正则表达式
12-13
mysql 提供的模式匹配的其他类型是使用扩展正则表达式。 当你对这类模式进行匹配测试时，使用REGEXP和NOT REGEXP操作符(或RLIKE和NOT RLIKE，它们是同义词)。 扩展正则表达式的一些字符是： “.”匹配任何单个的...
[C++][正则表达式]常用C++正则表达式用法
2509_94101176的博客
12-30 949
结果为have，但是你把str换成abc123就是no，因为它需要全字匹配，你可以把正则表达改成abc\\d+，如果你需要部分匹配可以使用下面例子。匹配字符串是否包含某些字符，可以使用regex_match，但是这个是全字匹配，不能部分匹配，比如。4、求出字符串所有匹配到的结果，比如提取字符串中所有数字。代码语言：javascript。代码语言：javascript。代码语言：javascript。代码语言：javascript。代码语言：javascript。代码语言：javascript。
【正则表达式完全指南：从入门到精通】
想学后端的前端程序员的博客
12-29 513
本文系统介绍了正则表达式的核心语法和实用技巧。主要内容包括：正则表达式基础语法、元字符与量词（字符类、自定义字符集、贪婪/非贪婪模式）、分组与引用（捕获/非捕获分组、反向引用）、断言与边界（边界匹配、先行/后行断言）。通过大量JavaScript代码示例，帮助开发者掌握这一强大的文本处理工具，提升搜索、验证、替换和提取文本信息的效率。文章还包含密码验证、HTML标签匹配等实战案例，适合需要处理文本数据的开发者学习参考。
Python 正则表达式：LLM 噪声语料的精准清洗
最新发布
玄同765的AI应用开发博客
12-30 801
本文针对LLM训练和推理中的"噪声语料"问题，系统讲解Python正则表达式的应用方法。文章首先分析了电商评论、用户输入和LLM生成内容中的常见噪声类型（如格式符号、空白字符、特殊字符等），然后详细介绍了re模块的核心方法（match、search、findall、sub等）和高级技巧（分组提取、预定义字符类、重复次数控制）。通过电商评论清洗、用户输入预处理、LLM结果过滤等实战案例，展示了正则表达式在语料清洗中的具体应用。最后还提供了一个批量清洗系统实现方案，并给出性能优化建议和常见问
11-正则表达式-教程
12-27 45
正则表达式的基本概念和用途正则表达式是一种用于匹配字符串中字符组合的魔法模式广泛应用于文本搜索、替换、验证等场景正则表达式的基本语法普通字符：表示它们本身元字符：具有特殊含义的字符，如?等字符类简写：如\d\w\s等转义字符：使用反斜杠来匹配元字符本身Python中使用正则表达式re.match(): 从字符串开头匹配模式: 在整个字符串中搜索匹配: 找出所有匹配的结果re.sub(): 替换匹配的模式re.split(): 根据匹配的模式分割字符串正则表达式的实际应用。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值