正则表达式

在自然语言处理任务中，会经常用到正则表达式，在数据预处理部分对数据清洗。提取到“干净”的数据用于后续的建模，平时都是用到正则表达式直接查询，在这里总结一下正则表达式的内容，方便记忆和查询。

一、常见的正则表达式

常见的正则表达式大家可以自己找，这里给一个地址，供大家参考。在python中，re模块提供了正则表达式的功能。

二、python的re模块

2.1 正则函数

2.1.1 re.match函数

    函数试图从字符串的起始部分对模式进行匹配，如果匹配成功，就返回一个匹配对象，如果匹配失败，就返回None。

    

2.1.2 re.search函数

    函数扫描整个字符串并返回第一个成功的匹配，如果匹配成功re.search方法返回一个匹配的对象，否则返回None。

    

2.1.3  re.sub函数

    函数用于替换字符串中的匹配项。

    re.sub(pattern, repl, string, count=0, flags=0)

    repl参数可以为替换的字符串，也可以为一个函数。

          如果repl是字符串，那么就会去替换字符串匹配的子串，返回替换后的字符串；

          如果repl是函数，定义的函数只能有一个参数（匹配的对象），并返回替换后的字符串。

    

 

    count可指定替换次数，不指定时全部替换。

    

    repl可以为一个函数。

    

2.1.4 re.subn函数

    和sub函数差不多，但是返回结果不同，返回一个元组“（新字符串，替换次数）

    

2.1.5  re.compile函数

    compile 函数用于编译正则表达式，生成一个正则表达式（ Pattern ）对象，供 match() 和 search() 这两个函数使用。如果匹配成功则返回一个Match对象

2.1.6 findall函数

    在字符串中找到正则表达式所匹配的所有子串，并返回一个列表，如果没有找到匹配的，则返回空列表

    

2.1.7 re.finditer函数

    在字符串中找到正则表达式所匹配的所有子串，并把它们作为一个迭代器返回

    

2.1.8  re.split函数

    split 方法用pattern做分隔符切分字符串，分割后返回列表。如果用'(pattern)'，那么分隔符也会返回

    

2.2 re模块调用

re模块一共有两种调用方式：

方法1：

    直接使用上面介绍的 re.match, re.search 和 re.findall 等函数对文本进行匹配查找

方法2：

（1）使用compile 函数将正则表达式的字符串形式编译为一个 Pattern 对象；

（2）通过 Pattern 对象提供的一系列方法对文本进行匹配查找，获得匹配结果（一个 Match 对象）；

（3）最后使用 Match 对象提供的属性和方法获得信息，根据需要进行其他的操作。

接下来重点介绍compile函数。

    re.compile函数用于编译正则表达式，生成一个Pattern对象

2.2.1 match函数

    Pattern对象：match(string[, pos[, endpos]])

    其中，string 是待匹配的字符串，pos 和 endpos 是可选参数，指定字符串的起始和终点位置，默认值分别是 0 和 len (字符串长度)。因此，当不指定 pos 和 endpos 时，match 方法默认匹配字符串的头部。当匹配成功时，返回一个 Match 对象，如果没有匹配上，则返回 None。

    

    若匹配成功，返回一个match对象。

         group([0, 1, 2,...]): 可返回一个或多个分组匹配的字符串，若要返回匹配的全部字符串，可以使用group()或group(0)；

         start(): 匹配的开始位置；

         end(): 匹配的结束位置；

         span(): 包含起始、结束位置的元组。等价于(start(), end())；

         groups(): 返回分组信息。等价于(m.group(1), m.group(2))；

         groupdict(): 返回命名分组信息。

2.2.2  search函数

    Pattern对象：search(string[, pos[, endpos]])

    

2.2.3  findall函数

    Pattern对象：findall(string[, pos[, endpos]])

    findall 以列表形式返回全部能匹配的子串，如果没有匹配，则返回一个空列表

    

2.2.4 finditer函数

    Pattern对象：finditer(string[, pos[, endpos]])

    finditer 函数与 findall 类似，但是它返回每一个匹配结果（Match 对象）的迭代器

    

2.2.5 split函数

    Pattern对象：split(string[, maxsplit]])

    maxsplit 可指定分割次数，不指定将对字符串全部分割

   

2.2.6  sub函数

    Pattern对象：sub(repl, string[, count])

    当repl为字符串时，可以用\id的形式引用分组，但不能使用编号0；当repl为函数时，返回的字符串中不能再引用分组

    

2.2.7  subn函数

     Pattern对象：subn(repl, string[, count])

     返回一个元组，元组第一个元素和sub函数的结果相同，元组第二个元素返回替换次数

     

2.2.8 两种方法的毕竟

    未采用compile的方法，每次都编译，效率低；采用compile只需要编译一次，效率高。

三、贪婪匹配

    正则表达式匹配时默认的是贪恋匹配，也就是会尽可能多的匹配更多字符。如果想使用非贪恋匹配，可以在正则表达式中加上'?'

    

四、分组

    如果你想要提取子串或是想要重复提取多个字符，那么你可以选择用定义分组的形式。用()就可以表示要提取的分组(group)

    正则表达式'(\d{4})-(\d{3, 8})$'表示匹配两个分组，第一个分组(\d{4})是一个有4个数字的子串，第二个分组(\d{3,8})表示匹配一个数字子串，子串长度为3到8之间

五、正则表达式修饰符

    re.I     忽略大小写

    re.L     做本地化识别匹配

    re.M    多行匹配，影响^和$

    re.S     单行，'.'匹配包括换行符在内的所有字符

    re.U     根据Unicode字符集解析字符，影响\w, \W, \b, \B

    re.X     忽略多余空白符