Python（爬虫篇）--- 正则表达式

---

一、为什么要学正则表达式

实际上爬虫一共就四个主要步骤：

1. 明确目标（要知道你准备在哪个范围或者网站去搜索）
2. 爬（将所有的网站的内容全部爬下来）
3. 取（去掉对我们没用处的数据）
4. 处理数据（按照我们想要的方式存储和使用）

我们在之前的案例里实际上省略了第 3 步，也就是"取"的步骤。因为我们 down 下了的 数据是全部的网页，这些数据很庞大并且很混乱，大部分的东西使我们不关心的，因此我们 需要将之按我们的需要过滤和匹配出来。 那么对于文本的过滤或者规则的匹配，最强大的就是正则表达式，是 Python 爬虫世界 里必不可少的神兵利器。

二、基础正则表达式语法

正则表达式，又称规则表达式，通常被用来检索、替换那些符合某个模式(规则)的文本。
正则表达式是对字符串操作的一种逻辑公式，就是用事先定义好的一些特定字符、及这 些特定字符的组合，组成一个“规则字符串”，这个“规则字符串”用来表达对字符串的一种过 滤逻辑。
给定一个正则表达式和另一个字符串，我们可以达到如下的目的：

1. 给定的字符串是否符合正则表达式的过滤逻辑(“匹配”)；
2. 通过正则表达式，从文本字符串中获取我们想要的特定部分(“过滤”)。

（一）元字符

常见元字符：前面提到的元字符\b 表示匹配单词的开始和结束。引出其他元字符

1. 匹配边界

元字符	含义
^	匹配行首
$	匹配行尾

2. 重复次数

元字符	含义
?	重复匹配 0 次或 1 次
*	重复匹配 0 次或更多次
+	重复匹配 1 次或更多次 1
{n，}	重复 n 次或更多次
{n，m}	重复 n~m 次
{n}	重复 n 次

3. 各种字符的表示

元字符	含义
[a-z]	任意 a-z 的字母
[abc]	a/b/c 中的任意一个字符
[^123abc]	匹配除了 123 abc 这几个字符以外的任意字符
.	匹配除换行符以外的任意一个字符
\b	匹配单词的开始和结束
\B	匹配不是单词开始和结束的位置
\d	匹配数字
\D	匹配任意非数字的字符
\w	匹配字母，数字，下划线
\W	匹配任意不是字母，数字，下划线的字符
\s	匹配任意空白，包括空格，制表符(Tab)，换行符
\S	匹配任意不是空白符的字符

4. 其他

元字符	含义
[^a]	匹配除了a 以外的任意字符
123丨abc	匹配 123 或者abc

（二）python 中正则表达式模块——re

在 Python 中，我们可以使用内置的 re 模块来使用正则表达式。有一点需要特别注意的是，正则表达式使用对特殊字符进行转义，所以如果我们要使用原始字符串，只需加一个r 前缀。

re 模块的一般使用步骤如下：
第一步：使用 compile()函数将正则表达式的字符串形式编译为一个 Pattern 对象。
第二步：通过 Pattern 对象提供的一系列方法对文本进行匹配查找，获得匹配结果，一个 Match 对象。
第三步：最后使用 Match 对象提供的属性和方法获得信息，根据需要进行其他的操作。

compile 函数
compile 函数用于编译正则表达式，生成一个 Pattern 对象，它的一般使用形式如下：

import re
pattern = re.compile('正则表达式')

Pattern 对象的一些常用方法主要有：

方法	描述
match	从起始位置开始查找，一次匹配
search	从任何位置开始查找，一次匹配
findall	全部匹配，返回列表
finditer	全部匹配，返回迭代器
split	分割字符串，返回列表
sub	替换

1. match方法

语法：match(‘待匹配字符串’[,起始索引,结束索引])

说明：
从头开始匹配，如果开头的字符不符合匹配规则，直接返回None
如果匹配成功，返回的是match对象
如果没有匹配成功，返回None

例：

import re

str = '123hello456world'

match_pattern = re.compile(r'\d+')
result = match_pattern.match(str)
result = match_pattern.match(str,8,12)
print(result)  # <_sre.SRE_Match object; span=(0, 3), match='123'>

如果要进行分组，必须使用()来进行分组
可以使用group(n)来获取对应组的内容，n是从1开始
可以使用group()获取匹配成功的内容

例：

import re

group_str = '123hello123world'
match_pattern = re.compile(r'\d+')
result = match_pattern.match(group_str)
print(result.group())  # 123