Python学习日志——爬虫（三）正则表达式主要函数方法

这篇博客详细介绍了Python正则表达式的常用函数，包括compile的group、start、end和span方法，findall的匹配功能，match和search的差异，split的字符串分割，以及sub的替换操作和finditer的迭代器返回。

一、compile 函数

compile 函数用于编译正则表达式，生成一个正则表达式（ Pattern ）对象，供 match() 和 search() 这两个函数使用。

语法结构：re.compile(pattern[, flags])

import re
pattern = re.compile(r'\d+')     # 用于匹配至少一个数字
m = pattern.match('one12twothree34four')    # 从头开始匹配，没有匹配成功就停止运行
print (m)   #None
m = pattern.match('one12twothree34four', 2, 10) # 从下标为2的位置，即'e'的位置开始匹配，没有匹配成功就停止运行
print(m)   # None
m = pattern.match('one12twothree34four', 3, 10) # 从'1'的位置开始匹配，匹配成功
print (m)    # 返回一个 Match 对象<_sre.SRE_Match object; span=(3, 5), match='12'>
print(m.group(0))   # 可省略 0'12'
print(m.start(0) )  # 可省略 03
print(m.end(0) )    # 可省略 05
print(m.span(0))    # 可省略 0(3, 5)

结果：

None
None
<_sre.SRE_Match object; span=(3, 5), match='12'>
12
3
5
(3, 5)

当匹配成功时，会返回一个match对象，其中：

group([group1, …]) 方法用于获得一个或多个分组匹配的字符串。当要获得整个匹配的子串时，可直接使用 group()或 group(0)；

start([group]) 方法用于获取分组匹配的子串在整个字符串中的起始位置（子串第一个字符的索引），参数默认值为 0；

end([group]) 方法用于获取分组匹配的子串在整个字符串中的结束位置（子串最后一个字符的索引+1），参数默认值为 0；

span([group]) 方法返回 (start(group), end(group)) ，即子串在整个字符串中的起始位置和结束位置。

二、findall方法

在字符串中找到正则表达式所匹配的所有子串，并返回一个列表，如果没有找到匹配的，则返回空列表。

注： match 和 search 只能匹配一次， findall 可以匹配所有符合条件的子串。

语法格式为：findall(string[, pos[, endpos]])

参数含义：①string : 待匹配的字符串。

②pos : 可选参数，指定字符串的起始位置，默认为 0。

③endpos : 可选参数，指定字符串的结束位置，默认为字符串的长度。

例：查找字符串中所有数字

import re
pattern = re.compile(r'\d+')     # 用于匹配至少一个数字
result1 = pattern.findall('runoob 123 google 456')
result2 = pattern.findall('run88oob123google456', 0, 10)
print(result1)
print(result2)

结果：

['123', '456']
['88', '12']

三、函数语法

（1）re.match

匹配成功时re.match方法返回一个匹配的对象，否则返回None。

语法格式为：re.match(pattern, string, flags=0)

参数描述：

pattern	匹配的正则表达式
string	要匹配的字符串。
flags	标志位，用于控制正则表达式的匹配方式，如：是否区分大小写，多行匹配等等。参见：正则表达式修饰符 - 可选标志

可以使用group(num) 或 groups() 匹配对象函数来获取匹配表达式。

group(num=0)	匹配的整个表达式的字符串，group() 可以一次输入多个组号，在这种情况下它将返回一个包含那些组所对应值的元组。
groups()	返回一个包含所有小组字符串的元组，从 1 到所含的小组号。

例：

import re
line = "Cats are smarter than dogs"
matchObj = re.match( r'(.*) are (.*?) .*', line, re.M|re.I)

if matchObj:
    print("matchObj.group() : ", matchObj.group() )
    print( "matchObj.group(1) : ", matchObj.group(1))
    print("matchObj.group(2) : ", matchObj.group(2))
else:
    print("No match!!")

结果：

matchObj.group() :  Cats are smarter than dogs
matchObj.group(1) :  Cats
matchObj.group(2) :  smarter

（2）re.search方法

re.search 方法可以扫描整个字符串并返回第一个成功的匹配，若不成功则返回None

语法格式为：re.search(pattern, string, flags=0)

参数描述：

pattern	匹配的正则表达式
string	要匹配的字符串。
flags	标志位，用于控制正则表达式的匹配方式，如：是否区分大小写，多行匹配等等。

该方法同样可以使用group(num) 或 groups() 匹配对象函数来获取匹配表达式。

group(num=0)	匹配的整个表达式的字符串，group() 可以一次输入多个组号，在这种情况下它将返回一个包含那些组所对应值的元组。
groups()	返回一个包含所有小组字符串的元组，从 1 到所含的小组号。

例1：

import re
print(re.search('www', 'www.runoob.com').span())  # 在起始位置匹配print(re.search('com', 'www.runoob.com').span())         # 不在起始位置匹配

#输出结果：(0, 3)

例2：

import re
line = "Cats are smarter than dogs"
searchObj = re.search( r'(.*) are (.*?) .*', line, re.M|re.I)
if searchObj:
    print("searchObj.group() : ", searchObj.group())    
    print("searchObj.group(1) : ", searchObj.group(1))
    print( "searchObj.group(2) : ", searchObj.group(2))
else:
    print("Nothing found!!")

运行结果：

searchObj.group() :  Cats are smarter than dogs
searchObj.group(1) :  Cats
searchObj.group(2) :  smarter

注：re.match与re.search的区别：

re.match只匹配字符串的开始，如果字符串开始不符合正则表达式，则匹配失败，函数返回None；而re.search匹配整个字符串，直到找到一个匹配。

import re
line = "Cats are smarter than dogs"
matchObj = re.match( r'dogs', line, re.M|re.I)
if matchObj:
    print("match --> matchObj.group() : ", matchObj.group())
else:
    print("No match!!")
searchObj = re.search( r'(.*) are (.*?) .*', line, re.M|re.I)
if searchObj:
    print("searchObj.group() : ", searchObj.group())
else:
    print("Nothing found!!")

运行结果：

No match!!
searchObj.group() :  Cats are smarter than dogs

（3）Split方法

re.split 方法按照能够匹配的子串将字符串分割后返回列表

语法格式为：re.split(pattern, string[, maxsplit=0, flags=0])

参数描述：

pattern	匹配的正则表达式
string	要匹配的字符串。
maxsplit	分隔次数，maxsplit=1 分隔一次，默认为 0，不限制次数。
flags	标志位，用于控制正则表达式的匹配方式，如：是否区分大小写，多行匹配等等。参见：正则表达式修饰符 - 可选标志

例：

import re:
import re
p = re.compile(r'\d+')
print(p.split('one1two2three3four4'))

运行结果：

['one', 'two', 'three', 'four', '']

(4)sub检索和替换

Python 的 re 模块提供了re.sub用于替换字符串中的匹配项。

语法格式为：re.sub(pattern, repl, string, count=0, flags=0)

参数：pattern : 正则表达式中的模式字符串。

repl : 替换的字符串，也可为一个函数。

string : 要被查找替换的原始字符串。

count : 模式匹配后替换的最大次数，默认 0 表示替换所有的匹配。

例：

import re
phone = "2004-959-559 # 这是一个国外电话号码"
num = re.sub(r'#.*$', "", phone)# 删除字符串中的 Python注释 
print("电话号码是: ", num)
num = re.sub(r'\D', "", phone)  # 删除非数字(-)的字符串
print("电话号码是 : ", num)

运行结果：

电话号码是:  2004-959-559 
电话号码是 :  2004959559

（5）finditer方法

和 findall 类似，findite在字符串中找到正则表达式所匹配的所有子串，并把它们作为一个迭代器返回。

语法结构为：re.finditer(pattern, string, flags=0)

参数描述：

pattern	匹配的正则表达式
string	要匹配的字符串。
flags	标志位，用于控制正则表达式的匹配方式，如：是否区分大小写，多行匹配等等。参见：正则表达式修饰符 - 可选标志