Python正则

Python正则

正则无处不在

编程中对字符串的处理无处不在，比如判断一串字符串是否符合手机号格式等，这当然可以通过逻辑编程实现，但是比较麻烦，代码复用率低；用正则可以比较简洁实现。

另外，特别对于大数据的非结构化数据，比如批量日志埋点数据处理时，经常用到正则匹配进行日志清洗，所以掌握常用的正则匹配和处理规则非常重要。

正则匹配规则

正则匹配规则本身也是用字符串表示的，我们了解常用的字符串表示的匹配含义，就可以像使用快捷键一样方便。

一般字符

字符	含义
.	匹配任意单个字符，不包含换行符（\n）
[…]	精准匹配中括号中的字符
\	转义字符

举例说明：

(1)a.b的匹配结果可能是acb,a3b等

(2）[0-9a-zA-Z_]可以匹配一个数字、字母或者下划线；

(3) 转义字符，可以把特殊字符表示为原来的意思，比如需要匹配“.”字符，直接写“.”会被认为是匹配任意字符，就需要用“/.”

预定义字符

用一个字符代表一类字符的常用匹配规则和含义如下。

字符	含义
\d	匹配数字
\D	匹配非数字
\w	匹配字母或数字
\W	匹配非字母和非数字
\s	匹配空格（tab，单空格等各种空格）
\S	匹配非空格

数量词

用一个字符代表长度的常用匹配规则和含义如下。

字符	含义
*	任意（>=0）个字符
+	至少1个（>=1）字符
?	0或者1个
{n}	n个字符
{n,m}	n-m个字符

举例说明：

[0-9a-zA-Z_]可以匹配一个数字、字母或者下划线；

[0-9a-zA-Z_]+可以匹配至少由一个数字、字母或者下划线组成的字符串，比如’a100’，‘0_Z’，'Py3000’等等；

[a-zA-Z_][0-9a-zA-Z_]*可以匹配由字母或下划线开头，后接任意个由一个数字、字母或者下划线组成的字符串，也就是Python合法的变量；

[a-zA-Z_][0-9a-zA-Z_]{0, 19}更精确地限制了变量的长度是1-20个字符（前面1个字符+后面最多19个字符）。

贪婪模式
其中*、+限定符都是贪婪模式的，它们会尽可能多的匹配文字，只有在它们的后面加上一个?就可以实现非贪婪或最小匹配。

举个例子，字符内容为a234b899b,使用

^a.*b$

匹配到的内容为最开头的a和末尾的b中间的所有内容234b899；如果使用a.*?b$ 则开启非贪婪模式，匹配到的内容为开头的a和第一个b中间的内容234。

边界匹配

字符	含义
^	行的开头
$	行的结尾

举例说明：

A|B可以匹配A或B，所以(P|p)ython可以匹配’Python’或者’python’。
^表示行的开头，

^\d

表示必须以数字开头。

$表示行的结束，

\d$

表示必须以数字结束。

注意：为了熟练使用上述规则，可以在在线平台上做一定的练习，这里推荐在线正则校验

Re模块与方法

熟悉常用的匹配规则之后，就可以使用python开启正则之旅了。python有专门处理正则的库——re。所以我们需要对该库用法有基本的了解。
由于Python的字符串本身也用\转义，所以要特别注意：
因此写匹配模式时，强烈建议使用Python的r前缀，就不用考虑转义的问题，下面的例子都是增加了r前缀的匹配。

查找匹配

re.match

re.match 尝试从字符串的起始位置匹配一个模式，如果不是起始位置匹配成功的话，match()就返回none。

格式：re.match(pattern, string, flags=0)
常用的是前2个参数，最后一个参数用来指定匹配格式，（比如不区分大小写、多行匹配等），自己需要的时候再查询设定。
举个例子

res1 = re.match(r'\d' , 'w3516167177')
print res1.group()

返回结果为None

re.search

re.search 扫描整个字符串并返回第一个成功的匹配。
格式：re.search(pattern, string, flags=0)
举个例子

res = re.search(r'\d' , 'w3516167177')
print res.group()

返回结果为3

注意：re.match只匹配字符串的开始，如果字符串开始不符合正则表达式，则匹配失败，函数返回None；而re.search匹配整个字符串，直到找到一个匹配。

re.findall

在字符串中找到正则表达式所匹配的所有子串，并返回一个列表，如果没有找到匹配的，则返回空列表。

res2 = re.findall(r'\d' , 'w3516167177')
print res2

返回结果为
[‘3’, ‘5’, ‘1’, ‘6’, ‘1’, ‘6’, ‘7’, ‘1’, ‘7’, ‘7’]

注意 ： match 和 search 是匹配一次 findall 匹配所有。

匹配替换

re.sub(pattern, repl, string, count=0, flags=0)
常用的是前4个参数，最后1个有特殊配置时使用，
pattern : 正则中的模式字符串。
repl : 替换的字符串，也可为一个函数。
string : 要被查找替换的原始字符串。
count : 模式匹配后替换的最大次数，默认 0 表示替换所有的匹配。

res3 = re.sub(r'\s' ,'','0377 - 65778888')
print res3

输出结果为0377-65778888

匹配提取

除了简单地判断是否匹配之外，正则表达式还有提取子串的强大功能。用()表示的就是要提取的分组。

如果正则表达式中定义了组，就可以在Match对象上用group()方法提取出子串来。

res4 = re.match(r'\w+([I])\s+([A-Za-z]{4})123([A-Za-z]{6}).*','11I Love123Python。。。')
print res4.groups()

输出结果为(‘I’, ‘Love’, ‘Python’)

注意到group(0)永远是原始字符串，group(1)、group(2)……表示第1、2、……个子串。groups表示全部匹配的列表。

匹配切分

re.split
re.split(pattern, string[, maxsplit=0, flags=0])
后面2个参数不常用，可选参数。

split 方法按照能够匹配的子串将字符串分割后返回列表。

res5 = re.split(r'@|[.]','89964567@qq.com')
print res5

输出结果[‘89964567’, ‘qq’, ‘com’]

编译

当我们在Python中使用正则表达式时，re模块内部会干两件事情：
编译正则表达式，如果正则表达式的字符串本身不合法，会报错；
用编译后的正则表达式去匹配字符串。

如果一个正则表达式要重复使用几千次，出于效率的考虑，我们可以预编译该正则表达式，接下来重复使用时就不需要编译这个步骤了，直接匹配：

re_telephone = re.compile(r'^(\d{3})-(\d{3,8})$')
re_telephone.match('010-12345').groups()

输出结果为：(‘010’, ‘12345’)

编译后生成Regular Expression对象，由于该对象自己包含了正则表达式，所以调用对应的方法时不用给出正则字符串。

正则各种实战

身份证号(15位、18位数字)，最后一位是校验位，可能为数字或字符X：

(^\d{15}$)|(^\d{18}$)|(^\d{17}(\d|X|x)$)

帐号是否合法(字母开头，允许5-16字节，允许字母数字下划线)：

^[a-zA-Z][a-zA-Z0-9_]{4,15}$

密码(以字母开头，长度在6~18之间，只能包含字母、数字和下划线)：

^[a-zA-Z]\w{5,17}$

可以自己使用各种方式验证编写。