跟着崔庆才学爬虫2：正则表达式

原创

于 2023-11-15 21:48:15 发布 · 944 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#爬虫 #正则表达式

前面学习我们已经可以用request库获取网页的源代码，从而得到HTML代码，但是我们真正想要获取的信息是包含在HTML内的。要怎样从HTML代码获取想要的信息呢，正则表达式就是其中一个有效的方法。说了这么多，对于正则表达式的概念还是有点模糊，下面用几个实例加深一下对于正则的了解。

打开正则在线网站（在线正则表达式测试），输入待匹配的文本，然后选择常用的正则表达式，就可以得出相应的匹配结果。

实例语句：Hello,my phone number is 010-86432100 and email is cqc@cat.com,and my website is https://cat.com

这段字符串包含了电话号码，email地址和一个URL，接下来尝试用正则表达式将这些内容依次提取出来。

打开网址可以看到网页右侧用一栏常用正则表达式

在点击匹配email地址之后，匹配结果就会弹出我们实例语句中的email

是不是非常神奇。其实这里就是使用了正则表达式，也就是用一定的规则将特定的文本提取出来。

例如E-mail地址的开头是一段字符串，然后是一个@符号，最后是一个域名，这是有特定的组成格式的。另外队友URL，开头是协议类型，然后是冒号加双斜线，最后是域名路劲。

对于URL来说，可以使用下面的正则表达式

匹配URL : [a-zA-Z]+://[^\s]*

用这个正则表达式去匹配一个字符串，如果这个字符串中包含类似URL文本，那么这部分就会被提取出来

写好正则表达式后，就可以拿它去一个长字符串里匹配查找了。不论这个字符串里有什么，只要符合我们写的规则，都可以找出来。

对于常用的匹配规则详细可以去这里看（正则表达式 – 简介 | 菜鸟教程）

正则表达式并非python独有，它也可以在其他变成语言中使用，但是python的re库提供了整个正则表达式的实现，利用这个库，可以在python中更加方便的使用正则表达式，下面我们就来详细介绍一下这个库。

re.match

re库是python的内部库无需额外安装。

这里我们首先介绍的第一个常用的匹配方式，向它传入要匹配字符串以及正则表达式，就可以检测这个正则表达式是否和字符串相匹配。

match方法会尝试从字符串的起始位置开始匹配正则表达式，如果匹配，就返回匹配成功的结果；如果不匹配，就返回None。实例如下

import re
content = "Hello 123 4567 World_This is a Regex Demo"
print(len(content))
result = re.match('^Hello\s\d\d\d\s\d{4}\s\w{10}',content)
print(result)
print(result.group())
print(result.span())

运行结果

41
<re.Match object; span=(0, 25), match='Hello 123 4567 World_This'>

(.venv) D:\跟着崔庆才学爬虫>d:/跟着崔庆才学爬虫/.venv/Scripts/python.exe d:/跟着崔庆才学爬虫/正则表达式/1_match的使用.py
41
<re.Match object; span=(0, 25), match='Hello 123 4567 World_This'>
Hello 123 4567 World_This
(0, 25)

这个实例首先声明了一个字符串，其中包含了英文字母，空白字符，数字等，接着写一个正则表达式：

^Hello\s\d\d\d\s\d{4}\s\w{10}

用它来匹配声明的那个长字符串。开头^表示匹配字符串的开头，也就是以Hello开头；然后\s表示匹配空白字符，用来匹配目标字符串里Hello后面的空格；\d表示匹配数字，3个\d用来匹配123；紧接着的1个\s表示匹配空格；目标字符串的后面还有4567，我们其实依然可以用4个\d来匹配，但是这么写比较繁琐，所有可以用\d后面跟{4} 的形式代表匹配4次数字；后面又是一个空白字符，最后\w{10}则表示匹配10个字母及下划线。我们注意到这里其实并没有把目标字符串匹配完，不过这样依然可以进行匹配，只是匹配结果短一点而已。

这match方法中，第一个参数是传入了正则表达式，第二个参数是传入了要匹配的字符串。

将输出结果打印出来，可以看到结果是SRE_Match对象，证明匹配成功。该对象包含两个方法：group方法可以输出匹配到的内容，结果是Hello 123 4567 World_This，这恰好是正则表达式按照规则匹配的内容：span方法可以输出匹配的范围，结果是（0，25），这是匹配到结果字符串在原字符串中的位置范围。

通过上面的例子，我们基本了解了如何在python中使用正则表达式来匹配一段文字。