python爬虫学习之re正则表达式

正则表达式包re

 regular expression = regex = re 正则表达式是通用的字符串表达框架，是判断字符串的特征所属的方法，这种方法几乎在所有的计算机相关领域都有所涉及。那么，爬虫这一对数据的提取的技术也不例外。学好正则表达式是所有计算机人的基本功。
 正则表达式的编译：将符合正则表达式语法的字符串转换成正则表达式特征。
 正则表达式的常用操作符：
 1. .表示任何单个字符
 2. []字符集，对单个字符给出取值范围
 3. [^]非字符集，对单个字符给出排除范围
 4. *一个字符0次或无限次扩展(0次扩展就是没有）
 5. +前一个字符1次或无限次扩展
 6. ？前一个字符0次或1次扩展
 7. |左右表达式任意一个如abc|def表示abc或者def
 8. {m}扩展前一个字符m次
 9. {m, n}扩展前一个字符m次至n次（含n）
 10. ^匹配字符串开头，如^abc表示abc且在一个字符串的开头
 11. $匹配字符串的结尾
 12. ()分组标记，内部只能使用|操作符，如（abc）表示abc,（abc|def）表示abc或def
 13. \d数字，等价于[0-9]
 14. \w单词字符，等价于[A-Za-z0-9_]

re库的基本使用

 re库的应用语句如下

import re

 re库使用raw string类型表示正则表达式，表示为r’text’
 raw string是不包含转义符的字符串
 也可以用string，不过太繁琐

re库的主要功能函数：

 1. re.search()在一个字符串中搜索匹配正则表达式的第一个位置，返回match对象
 2. re.match()从一个字符串的开始的位置匹配正则表达式，返回match对象
 3. re.findall()搜索字符串，以列表类型返回全部能匹配的子串
 4. re.split()将一个字符串按照正则表达式匹配结果进行分割，返回列表类型
 5. re.finditer()搜索字符串，返回一个匹配结果的迭代类型，每个迭代类型元素是match对象
 6. re.sub在一个字符串中替换所有匹配正则表达式的子串，返回替换后的字符串

re.search(pattern, string, flags = 0)

pattern:正则表达式的字符串
string:待匹配的字符串
flags:正则表达式使用时的控制标记
控制标记：
re.I忽略正则表达式大小写
re.M 正则表达式中^可以将每行当作匹配开始
re.S 正则表达式.操作符能匹配所有字符，默认是匹配除了换行符外的所有字符

match = re.search(r'[1-9]\d{5}', 'Bit 100081')
if match:
    print(match.group(0))

re.match(pattern, string, flags = 0)

match = re.match(r'[1-9]\d{5}', 'Bit 100081')
#这样无结果,因为是从bit开始匹配,这里一定要有if的控制否则空的话无group函数，会报错
if match:
    print(match.group(0))
match = re.match(r'[1-9]\d{5}', '100081 Bit')  
if match:
    print(match.group(0))

re.findall(pattern, string, flags = 0)

ls = re.findall(r'[1-9]\d{5}', 'Bit100081 Bit100082')
print(ls)

re.split(pattern, string, maxsplit = 0, flags = 0)

#maxsplit是最大分割数
print(re.split(r'[1-9]\d{5}', 'Bit100081 Bit100082'))
print(re.split(r'[1-9]\d{5}', 'Bit100081 Bit100082',maxsplit = 1))

re.finditer(pattern, string, flags = 0)

for m in re.finditer(r'[1-9]\d{5}', 'Bit100081 Bit100082'):
    if(m):
        print(m.group(0))

re.sub(pattern, repl, string, count = 0, flags = 0)

'''
re.sub(pattern, repl, string, count = 0, flags = 0)
repl替换匹配字符串的字符串
count匹配的最大次数
'''
re.sub(r'[1-9]\d{5}', ':zipcode','Bit100081 Bit100082')

正则表达式还有面向对象的用法

#compile将正则表达式形式编译成正则表达式对象
#.compile(pattern, flags)
pat = re.compile(r'[1-9]\d{5}')
rst = pat.search('BIT 100081')
if rst:
    print(rst.group(0))

生成的表达式对象

re库的match对象

• 属性：
  
  1. .string待匹配的文本
  2. .re匹配时使用的pattern对象
  3. .pos正则表达式搜索文本的开始位置
  4. .endpos正则表达式搜索文本的结束位置
• 方法：
  
  1. .group(0)是获取匹配后的字符串
  2. .start()匹配字符串在原始字符串的开始位置
  3. .edn()匹配字符串在原始字符串的结束位置
  4. .span()返回(.start(), .end())

match = re.search(r'[1-9]\d{5}', 'BIT 180001')
print(match.string)
print(match.re)
print(match.pos)
print(match.endpos)
print(match.group(0))
print(match.start())
print(match.end())
print(match.span())

re库的贪婪匹配和最小匹配

 最小匹配操作符

1. *？前一个字符0次或无限次扩展，最小匹配
2. +？前一个字符1次或无限次扩展，最小匹配
3. ？？前一个字符0次或一次扩展，最小匹配
4. {m, n}前一个字符m或n次扩展（包含n），最小匹配

#re库默认采用贪婪匹配，输出最长子串
match = re.search(r'PY.*N', 'PYANBNCNDN')
print(match.group(0))
match = re.search(r'PY.*?N', 'PYANBNCNDN')
print(match.group(0))