爬虫基础之re
文章目录
前言
本文主要的内容是关于正则表达式的简单使用和案例展示。
一. re 基本操作
1.1 常见匹配模式
| 模式 | 描述 |
|---|---|
| \w | 匹配字母数字及下划线 |
| \W | 匹配非字母数字下划线 |
| \s | 匹配任意空白字符，等价于 [\t\n\r\f]. |
| \S | 匹配任意非空字符 |
| \d | 匹配任意数字，等价于 [0-9] |
| \D | 匹配任意非数字 |
| \A | 匹配字符串开始 |
| \Z | 匹配字符串结束，如果是存在换行，只匹配到换行前的结束字符串 |
| \z | 匹配字符串结束 |
| \G | 匹配最后匹配完成的位置 |
| \n | 匹配一个换行符 |
| \t | 匹配一个制表符 |
| ^ | 匹配字符串的开头 |
| $ | 匹配字符串的末尾。 |
| . | 匹配任意字符，除了换行符，当re.DOTALL标记被指定时，则可以匹配包括换行符的任意字符。 |
| […] | 用来表示一组字符,单独列出：[amk] 匹配 ‘a’，‘m’或’k’ |
| [^…] | 不在[]中的字符：[^abc] 匹配除了a,b,c之外的字符。 |
| * | 匹配0个或多个的表达式。 |
| + | 匹配1个或多个的表达式。 |
| ? | 匹配0个或1个由前面的正则表达式定义的片段，非贪婪方式 |
| {n} | 精确匹配n个前面表达式。 |
| {n, m} | 匹配 n 到 m 次由前面的正则表达式定义的片段，贪婪方式 |
| a|b | 匹配a或b |
| ( ) | 匹配括号内的表达式，也表示一个组 |
re.match:re.match(pattern, string, flags=0)
re.match() 尝试从字符串的起始位置匹配一个模式，如果不是起始位置匹配成功的话,match() 就会返回None。
1.2 最常规的匹配
import re
content = "Hello 123 4567 World_This is a Regex Demo!"
print(len(content))
# ‘^’表示以什么开始，‘$’以什么结束。
# ‘\s’匹配任意空白字符，'\d'匹配数字，‘\w’匹配字母数字下划线‘｛n｝’表示匹配n次。
result = re.match('^Hello\s\d\d\d\s\d{4}\s\w{10}.*Demo!$', content)
print(result)
print(result.group())
print(result.span())
1.3 范匹配
content = 'Hello 123 4567 World_This is a Regex Demo'
result = re.match('^Hello.*Demo$', content)
print(result)
print(result.group())
print(result.span())
这里我们发现‘.*’其实匹配所有的字符，所以内容就比较宽泛。
1.4 匹配目标
# ‘\s’匹配任意空白字符。
content = 'Hello 1234567 World_This is a Regex Demo'
result = re.match('^Hello\s(\d+)\sWorld.*Demo$', content)
print(result)
print(result.group(1))
print(result.span())
在这里，小括号单独表示我们需要匹配的内容，即精确匹配，可单独拿出。
二. re 高级操作
2.1 贪婪匹配
content = 'Hello 1234567 World_This is a Regex Demo'
result = re.match('^He.*(\d+).*Demo$', content)
print(result)
print(result.group(1))
# 我们看到，由于 “.*” 可以匹配任何的内容，而且是贪婪匹配，所以小括号仅匹配到一个 ‘7’ ，也就是最后一个数字。
2.2 非贪婪匹配
content = 'Hello 1234567 World_This is a Regex Demo'
result = re.match('^He.*?(\d+).*Demo$', content)
print(result)
print(result.group(1))
这里我们看到，由于 ‘.?’ 比起前面的贪婪模式 ‘.’ 多了个 ‘?’.但是我们看匹配到的内容，显然，小括号匹配到了所有的数字。
所以总结来看就是：贪婪模式就是尽可能多的匹配到内容，非贪婪模式就是尽可能少的匹配到内容。
2.3 匹配模式
content = '''Hello 1234567 World_This
is a Regex Demo
'''
result = re.match('^He.*?(\d+).*?Demo$', content, re.S)
print(result.group(1))
这里 re.S 表示不考虑像换行符，空格之类的内容；而另外一种 re.I 表示不考虑匹配的字母大小写
2.4 转义操作
content = 'price is $5.00'
result = re.match('price is $5.00', content)
print(result)
content = 'price is $5.00'
result = re.match('price is \$5\.00', content)
print(result)
2.5 re.search()
re.search() 扫描整个字符串并返回第一个成功的匹配。
content = 'Extra stings Hello 1234567 World_This is a Regex Demo Extra stings'
result = re.match('Hello.*?(\d+).*?Demo', content)
print(result)
content = 'Extra stings Hello 1234567 World_This is a Regex Demo Extra stings'
result = re.search('Hello.*?(\d+).*?Demo', content)
print(result)
print(result.group(1))
对比一下 re.match() 与 re.search(),发现 re.match() 只要第一个字符匹配不上就不会匹配成功，但是 re.search() 会扫描整个字符串。
总结：为匹配方便，能用search就不用match
2.6 匹配练习
html = '''<div id="songs-list">
<h2 class="title">经典老歌</h2>
<p class="introduction">
经典老歌列表
</p>
<ul id="list" class="list-group">
<li data-view="2">一路上有你</li>
<li data-view="7">
<a href="/2.mp3" singer="任贤齐">沧海一声笑</a>
</li>
<li data-view="4" class="active">
<a href="/3.mp3" singer="齐秦">往事随风</a>
</li>
<li data-view="6"><a href="/4.mp3" singer="beyond">光辉岁月</a></li>
<li data-view="5"><a href="/5.mp3" singer="陈慧琳">记事本</a></li>
<li data-view="5">
<a href="/6.mp3" singer="邓丽君"><i class="fa fa-user"></i>但愿人长久</a>
</li>
</ul>
</div>'''
result = re.search('<li.*?active.*?singer="(.*?)">(.*?)</a>', html, re.S)
print(result.group())
print(result.group(1), result.group(2))
# ++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++ #
result = re.search('<li.*?singer="(.*?)">(.*?)</a>', html, re.S)
print(result.group())
print(result.group(1), result.group(2))
# +++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++ #
result = re.search('<li.*?singer="(.*?)">(.*?)</a>', html)
print(result.group())
print(result.group(1), result.group(2))
# 这里不同于上面一行的是，少了个 re.S 导致换行没法处理，所以只能匹配到一行的内容（前面几个都有换行符，导致匹配不成功）。
re.findall() 搜索字符串，一列表形式返回全部能匹配的字符串
html = '''<div id="songs-list">
<h2 class="title">经典老歌</h2>
<p class="introduction">
经典老歌列表
</p>
<ul id="list" class="list-group">
<li data-view="2">一路上有你</li>
<li data-view="7">
<a href="/2.mp3" singer="任贤齐">沧海一声笑</a>
</li>
<li data-view="4" class="active">
<a href="/3.mp3" singer="齐秦">往事随风</a>
</li>
<li data-view="6"><a href="/4.mp3" singer="beyond">光辉岁月</a></li>
<li data-view="5"><a href="/5.mp3" singer="陈慧琳">记事本</a></li>
<li data-view="5">
<a href="/6.mp3" singer="邓丽君">但愿人长久</a>
</li>
</ul>
</div>'''
results = re.findall('<li.*?href="(.*?)" singer="(.*?)">(.*?)</a>', html, re.S)
print(results)
print(type(results))
for result in results:
print(result)
print(result[0], result[1],result[2])
# +++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++ #
results = re.findall('<li.*?>\s*?(<a.*?>)?(\w+)(</a>)?\s*?</li>', html, re.S)
print(results)
for result in results:
print(result[1])
re.sub() 替换字符串中每一个匹配的子串后返回替换后的字符串。
content = 'Extra stings Hello 1234567 World_This is a Regex Demo Extra stings'
# 将字符串中的数字都转换成None，也就是删除了所有的数字
content = re.sub('\d+', '', content)
print(content)
# +++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++ #
content = 'Extra stings Hello 1234567 World_This is a Regex Demo Extra stings'
# 将字符串中的所有数字转换成 Replacement
content = re.sub('\d+', 'Replacement', content)
print(content)
# +++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++ #
content = 'Extra stings Hello 1234567 World_This is a Regex Demo Extra stings'
content = re.sub('(\d+)', r'\1 8910', content)
print(content)
re.compile()
将正则字符串编译成正则表达式对象，以便于复用该匹配模式。
content = '''Hello 1234567 World_This
is a Regex Demo'''
pattern = re.compile("Hello.*Demo", re.S)
result = re.match(pattern, content)
print(result)
2.7 实战练习
import requests
import re
headers = {
"User-Agent": "Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.114 Mobile Safari/537.36"
}
content = requests.get('https://douban.com/book/top250', headers=headers).text
print(content)
pattern = re.compile('<tr class="item">.*?href="(.*?)" onclick.*?src="(.*?)" width.*?<a href="(.*?)" onclick.*?title="(.*?)">.*?p1">(.*?)</p>.*?rating_nums">(.*?)</span.*?p1">((.*?))<.*?inq">(.*?)<.*?</table>', re.S)
results = re.findall(pattern, content)
print(results)
总结
今天主要是学习了正则表达式re库的基本使用以及一些升级操作，还是需要不断的在实战的演练。有兴趣的小伙伴可以观看官方文档，进行深入了解。
溜了溜了，脑壳疼。Loading（31/100）。。。
699
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
