爬虫学习——正则表达式与python的re库使用（一）

正则表达式

总结自北理工网络公开课《Python网络爬虫与信息提取》http://open.163.com/movie/2019/5/8/I/MEEMCM1NP_MEEU4DG8I.html

第二篇总结见https://blog.youkuaiyun.com/weixin_42412973/article/details/98662359

一、正则表达式的概念
用来简洁表达一组字符串的表达式
例如：
'PN'
'PYN'
'PYTN'======>>>正则表达式：P(Y|YT|YTH|YTHO)?N
'PYTHN'
'PYTHON'
'一行胜千言'
在文本处理的应用：
1、表达文本类型的特征（病毒、入侵等）；
2、同时查找或替换一组字符串；
3、匹配字符串的全部或部分；
正则表达式的使用：
1、编译：
将符合正则表达式语法的字符串转换成正则表达式特征
编译后的特征与一组字符串对应
编译前只是符合正则表达式语法的一个字符串

二、正则表达式的语法
字符和操作符构成
-----------------------------------------------------------------------------------------------------------------------
操作符|                         说明                                 |                实例
   .         表示任何单个字符                                    例如‘-’
  [ ]       字符集，对单个字符给出取值范围           [abc]表示a、b、c，[a-z]表示a到z单个字符
  [^]      非字符集，对单个字符给出排除范围        [^abc]表示非a或b或c的单个字符
   *         前一个字符0次或无限次扩展                    abc*表示ab、abc、abcc、abccc等
   +        前一个字符1次或无限次扩展                   abc+表示abc、abcc、abccc等
   ？       前一个字符0次或1次扩展                         abc？表示ab、abc
   |         左右表达式任意一个                                 abc|def表示abc、def
  {m}     扩展前一个字符m次                                 ab{2}c表示abbc
{m,n}    扩展前一个字符m至n次（含n）              ab{1,2}表示abc、abbc
   ^        匹配字符串开头                                     ^abc表示abc且在一个字符串的开头
   $        匹配字符串结尾                                      abc$表示abc且在一个字符串的结尾
  ( )       分组标记，内部只能使用|操作符             (abc)表示abc，(abc|def)表示abc、def
  \d        数字，等价于[0-9]
  \w        单词字符，等价于[A-Z a-z 0-9 _]
------------------------------------------------------------------------
实例：
PY[TH]ON=========>'PYTON'、'PYHON'
PY[^TH]?ON=======>'PYON' 'PYaON' 'PYbON' 'PYcON'...
PY{:3}N==========>'PN' 'PYN' 'PYYN' 'PYYYN'

经典实例
^[A-Za-z]+$         由26个字母和数字组成的字符串
^[A-Za-z0-9]+$      由26个字母和数字组成的字符串
^-?\d+$             整数形式的字符串’-’负号
[1-9]\d{5}          中国境内邮政编码，6位
[\u4e00-\u9fa5]     匹配中文字符，判断字符串是否属于中文
\d{3}-\d{8}|\d{4}-d{7}  国内电话号码，010-68913536

设计匹配IP地址的正则表达式
（IP地址分四段，每段0-255）
》   \d+.\d+.\d+.\d+
》   \d{1,3}.\d{1,3}.\d{1,3}.\d{1,3}
》   精确写法：
0-99：[1-9]?\d   100-199：1\d{2}
200-249：2[0-4]\d    250-255：25[0-5]
====>(([1-9]?\d|1\d{2}|2[0-4]\d|25[0-5]).){3}([1-9]?\d|1\d{2}|2[0-4]\d|25[0-5])