Python爬虫——正则表达式（re模块）

最新推荐文章于 2025-05-18 20:56:14 发布

Harley_lee

最新推荐文章于 2025-05-18 20:56:14 发布

阅读量577

点赞数

CC 4.0 BY-SA版权

分类专栏： python 文章标签： python 正则表达式

本文链接：https://blog.youkuaiyun.com/Simon_LHM/article/details/113054842

python 专栏收录该内容

6 篇文章

订阅专栏

本文介绍了Python爬虫中如何利用正则表达式（re模块）进行字符串匹配和提取信息。主要内容包括正则规则、re模块的常用方法如match()、search()、compile()、sub()、findall()和split()。这些方法在处理HTML数据时非常有用，能帮助高效地抓取和处理网页内容。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

正则表达式是通过特殊的字符序列，实现字符串的检索、替换、匹配验证。在爬虫时，使用正则表达式便于我们快速提取到HTML中的信息。

1. 正则规则

代码	说明
.	匹配除换行符（\n）以外的任意字符。当re.DOTALL标记被制定时，则可以匹配任意字符
^	匹配字符串的开头
$	匹配字符串的结尾
[ ... ]	匹配[ ]中列举的字符
[ ^... ]	匹配不在[ ]中列举的字符
*	匹配0个或多个的表达式
+	匹配1个或多个表达式
？	匹配0个或1个前面的正则表达式定义的片段，非贪婪方式
{n}	精确匹配n个前面的表达式
{n，m}	匹配n到m次由前面正则表达式定义的片段，贪婪方式
a\|b	匹配 a 或 b
( )	匹配括号内的表达式，也表示一个组
\w	匹配字母或数字或下划线或汉字0-9、a-z、A-Z、_（下划线）、汉字和其他国家的语言符号
\W	匹配非字母或数字或下划线或汉字，跟\w正好相反
\s	匹配任意的空白符，如 /t、/n、/r、/f
\S	匹配任意非空白符
\d	匹配任意数字 = [0,9]
\D	匹配任意非数字的字符
\b	匹配单词的开头或结尾
\A	匹配字符串开头
\Z	匹配字符串结尾，若存在换行，只匹配到换行符前的结束字符
\z	匹配字符串结尾，若存在换行，同时还会匹配换行符
\G	匹配最后匹配完成的位置
\n	匹配一个换行符
\t	匹配一个制表符

2. re模块下常用方法

re.match()

尝试从字符串的起始位置匹配一个模式，如果不是起始位置匹配成功的话，match()就返回none。

re.match(pattern, string, flags=0)
# pattern：匹配的正则表达式
# string：要匹配的字符串
# flags：标志位，用于控制正则表达式的匹配方式，如：是否区分大小写，多行匹配等

可以使用group(num) 或 groups() 匹配对象函数来获取匹配表达式：

匹配对象方法	描述
group(num=0)	匹配的整个表达式的字符串，group() 可以一次输入多个组号，在这种情况下它将返回一个包含那些组所对应值的元组。
groups()	返回一个包含所有小组字符串的元组，从 1 到所含的小组号。

eg.

import re
 
line = "Cats are smarter than dogs"
 
matchObj = re.match( r'(.*) are (.*?) .*', line, re.M|re.I)
 
if matchObj:
   print "matchObj.group() : ", matchObj.group()
   print "matchObj.group(1) : ", matchObj.group(1)
   print "matchObj.group(2) : ", matchObj.group(2)
else:
   print "No match!!"

输出：

matchObj.group() :  Cats are smarter than dogs
matchObj.group(1) :  Cats
matchObj.group(2) :  smarter

re.compile()

compile 函数用于编译正则表达式，生成一个正则表达式（ Pattern ）对象，供 match() 和 search() 这两个函数使用。

re.compile(pattern[, flags])

参数：

pattern : 一个字符串形式的正则表达式

flags : 可选，表示匹配模式，比如忽略大小写，多行模式等，具体参数为：

1. re.I 忽略大小写

2. re.L 表示特殊字符集 \w, \W, \b, \B, \s, \S 依赖于当前环境

3. re.M 多行模式

4. re.S 即为 . ，并且包括换行符在内的任意字符（. 不包括换行符）

5. re.U 表示特殊字符集 \w, \W, \b, \B, \d, \D, \s, \S 依赖于 Unicode 字符属性数据库

6. re.X 为了增加可读性，忽略空格和 # 后面的注释

eg.

import re
pattern = re.compile(r'\d+')                    # 用于匹配至少一个数字
m = pattern.match('one12twothree34four')        # 查找头部，没有匹配
print m
# None

m = pattern.match('one12twothree34four', 2, 10) # 从'e'的位置开始匹配，没有匹配
print m
#None

m = pattern.match('one12twothree34four', 3, 10) # 从'1'的位置开始匹配，正好匹配
print m                                         # 返回一个 Match 对象
#<_sre.SRE_Match object at 0x10a42aac0>

m.group(0)   # 可省略 0
#'12'
m.start(0)   # 可省略 0
#3
m.end(0)     # 可省略 0
#5
m.span(0)    # 可省略 0
#(3, 5)

re.search()

扫描整个字符串并返回第一个成功的匹配，否则返回None。

re.search(pattern, string, flags=0)

eg.

import re
print(re.search('www', 'www.runoob.com').span())  # 在起始位置匹配
print(re.search('com', 'www.runoob.com').span())  # 不在起始位置匹配

输出：

(0, 3)
(11, 14)

re.match()与re.search()的区别：re.match()只匹配字符串的开始，如果字符串开始不符合正则表达式，则匹配失败，函数返回None；而re.search()匹配整个字符串，直到找到一个匹配。

re.sub()

用于替换字符串中的匹配项。

re.sub(pattern, repl, string, count=0, flags=0)
# pattern：匹配的正则表达式
# repl：替换的字符串，也可为一个函数
# string：要匹配的字符串
# count：模式匹配后替换的最大次数，默认0表示替换所有的匹配

eg.

import re
 
phone = "2004-959-559 # 这是一个国外电话号码"
 
# 删除字符串中的 Python注释 
num = re.sub(r'#.*$', "", phone)
print("电话号码是: ", num)
 
# 删除非数字(-)的字符串 
num = re.sub(r'\D', "", phone)
print("电话号码是 : ", num)

输出：

电话号码是:  2004-959-559 
电话号码是 :  2004959559

re.findall()

re.findall(pattern, string, flags=0)

对 string 返回一个不重复的 pattern 的匹配列表， string 从左到右进行扫描，匹配按找到的顺序返回。如果样式里存在一到多个组，就返回一个组合列表；就是一个元组的列表（如果样式里有超过一个组合的话）。空匹配也会包含在结果里。

re.split()

re.findall(pattern, string, flags=0)

用 pattern 分开 string 。如果在 pattern 中捕获到括号，那么所有的组里的文字也会包含在列表里。如果 maxsplit 非零，最多进行 maxsplit 次分隔，剩下的字符全部返回到列表的最后一个元素。

eg.

re.split(r'\W+', 'Words, words, words.')
# 打印结果：['Words', 'words', 'words', '']

re.split(r'(\W+)', 'Words, words, words.')
# 打印结果：['Words', ', ', 'words', ', ', 'words', '.', '']

re.split(r'\W+', 'Words, words, words.', 1)
# 打印结果：['Words', 'words, words.']

re.split('[a-f]+', '0a3B9', flags=re.IGNORECASE)
# 打印结果：['0', '3', '9']

待续......

参考文献：

[1] 《Python3网络爬虫开发实战》

[2] https://www.runoob.com/python/python-reg-expressions.html