爬虫学习笔记3---------re库，正则表达式

最新推荐文章于 2024-08-15 14:51:20 发布

staryxx

最新推荐文章于 2024-08-15 14:51:20 发布

阅读量282

点赞数

分类专栏：爬虫

爬虫专栏收录该内容

7 篇文章

订阅专栏

Unit1 正则表达式 Re

正则表达式：regular expression regex RE

简洁的表达一组字符串的表达式，（查找，替换，匹配）。

表达“特征”（病毒，入侵）

使用：

编译：将符合正则表达式的字符串'P(Y/YT/YTH)?N' 转换为正则表达式的特征。特征：p = re.compile('P(Y/YT/YTH)?N')

语法：

字符+操作符

.	[ ]	[^ ]	*	+	?	\|
任意单个字符	字符集，某一个字符	非字符集，非某一个字符	前一字符，0或N次重复	前一字符，1或N次重复	前一字符，重复 0或1次	左右任意一个

{ m }	{ m , n }	^	$	( )	\d	\w
重复前一个字符m次	前一m到n次（含n）	开头	结尾	分组，内部只能有 \| 操作符	数字{ 0-9 }	单词字符{A-Za-z0-9...}

举例：

经典表达

^[A-Za-z]+$ 由26个字母组成的字符串

^[A-Za-z0-9]+$ 由26个字母和数字组成的字符串

^-?\d+$ 整数

[1-9]\d{5} 中国境内邮政编码六位

[\u4e00-\u9fa5] 匹配中文字符（UTF-8编码）

Unit 2 Re库

Re库介绍 import re

re库采用raw string (不包含转义符的字符串)类型表示正则表达式，表示为：r'text'

如：r'[1-9]\d{5}'

一、主要函数

1、re.search( pattern, string, flags=0)

匹配正则表达式的第一个位置，返回match对象。

pattern：正则表达式字符串
string：待匹配字符串
flags：控制标记
- re.I re.IGNORECASE 忽略正则表达式的大小写
- re.M re.MULTILINE 使 ^ 操作符可以匹配每行的开始
- re.S re.DOTALL 使 . 可以匹配所有字符，包括换行符（默认不包括）

import re

match = re.search(r'[1-9]\d{5}', 'BIT 100086')

if match:

print(match.group(0))

#匹配结果10086

2、re.match( pattren, string, flags=0)

从一个字符串的起始位置匹配，返回一个Match。

pattern：正则表达式字符串
string：待匹配字符串
flags：控制标记
- re.I re.IGNORECASE 忽略正则表达式的大小写
- re.M re.MULTILINE 使 ^ 操作符可以匹配每行的开始
- re.S re.DOTALL 使 . 可以匹配所有字符，包括换行符（默认不包括）

import re

match = re.search(r'[1-9]\d{5}', 'BUAA 100086')

if match:

print(match.group(0))

#匹配结果无AttributeError: 'NoneType' object has no attribute 'group'

match = re.search(r'[1-9]\d{5}', '100086 BUAA')

if match:

print(match.group(0))

#匹配结果10086

3、re.findall( pattern, string, flags=0)

搜索字符串，以列表类型返回全部能匹配的子串。

pattern：正则表达式字符串
string：待匹配字符串
flags：控制标记
- re.I re.IGNORECASE 忽略正则表达式的大小写
- re.M re.MULTILINE 使 ^ 操作符可以匹配每行的开始
- re.S re.DOTALL 使 . 可以匹配所有字符，包括换行符（默认不包括）

>>> ls = re.findall(r'[0-9]\d{5}', 'BUAA 100086 BIT 100081')

>>> ls

['100086', '100081']

4、re.split( pattern, string, maxsplit=0, flags=0)

将字符串按照正则表达式匹配结果进行分割，返回列表类型。

pattern：正则表达式字符串
string：待匹配字符串
maxsplit：最大分割数，剩余部分作为最后一个元素输出
flags：控制标记
- re.I re.IGNORECASE 忽略正则表达式的大小写
- re.M re.MULTILINE 使 ^ 操作符可以匹配每行的开始
- re.S re.DOTALL 使 . 可以匹配所有字符，包括换行符（默认不包括）

>>> re.split(r'[0-9]\d{5}', 'BUAA 100086 BIT 100081')

['BUAA ', ' BIT ', '']

>>> re.split(r'[0-9]\d{5}', 'BUAA 100086 BIT 100081', maxsplit = 1)

['BUAA ', ' BIT 100081']

5、re.finditer( pattern, string, flags=0)

搜索字符串，返回一个匹配结果迭代类型，每个迭代类型是match对象。

pattern：正则表达式字符串
string：待匹配字符串
flags：控制标记
- re.I re.IGNORECASE 忽略正则表达式的大小写
- re.M re.MULTILINE 使 ^ 操作符可以匹配每行的开始
- re.S re.DOTALL 使 . 可以匹配所有字符，包括换行符（默认不包括）

import re

for m in re.finditer(r'[0-9]\d{5}', 'BUAA 100086 BIT 100081'):

if m:

print(m.group(0))

###100086

###100081

6、re.sub( pattern, repl, string, count=0, flags=0)

将字符串中正则表达式的子串替换，返回替换后的字符串。

pattern：正则表达式字符串
repl：用于替换的字符串
string：待匹配字符串
count：匹配的最大替换次数
flags：控制标记
- re.I re.IGNORECASE 忽略正则表达式的大小写
- re.M re.MULTILINE 使 ^ 操作符可以匹配每行的开始
- re.S re.DOTALL 使 . 可以匹配所有字符，包括换行符（默认不包括）

>>> re.sub(r'[0-9]\d{5}',':zipcode', 'BUAA 100086 BIT 100081')

'BUAA :zipcode BIT :zipcode'

用法总结：

函数式用法：一次操作

rst = re.search(r'[1-9]\d{5}', 'BUAA 100086')

面向对象用法：编译后多次操作

pat = re.compile(r'[1-9]\d{5}') #pattern对象

rst = pat.search('BUAA 100086')

7+、re.compile( pattern, flags=0)

将正则表达式字符串形式（不是正则表达式）编译成正则表达式对象，Pattern对象

pattern：正则表达式字符串
flags：控制标记

Pattern对象的方法：

regex = re.compile(r'[1-9]\d{5}')

此时，可以使用 regex 的六个方法，与前 re 的方法对应。

二、Re库的Match对象

Match对象：<class '_sre.SRE_Match'>

Match对象的属性：

.string 带匹配的文本
.re 匹配时使用的pattern对象（正则表达式）
.pos 正则表达式搜索文件的开始位置
.endpos ……结束位置

Match对象的方法：

.group(0) 获得匹配后的字符串
.start() 匹配字符串在原始字符串的开始位置
.end() ……结束位置
.span() 返回（.start(), .ens()）

三、Re库的贪婪匹配和最小匹配

实例：

贪婪匹配（最长匹配，默认）

match = re.search(r.'PY.*N', 'PYANBNCNDN') #有四种匹配方式，re库默认采用贪婪匹配方法。

match.group(0)

最小匹配，扩展操作符

*？	前一个字符0次或无限次扩展，最小匹配
+？	前一个字符1次或无限次扩展，最小匹配
？？	前一个字符0次或1次扩展，最小匹配
{m,n}?	扩展前一个字符m至n次（含n），最小匹配

注：可看慕课或b站上嵩天老师讲的python网络爬虫与信息提取课程

本文为视频内容转载自https://blog.youkuaiyun.com/youyinyou/article/details/77745097