目录
正则表达式
先学习正则表达式,接着学习模块。正则表达式是一种独立的规则,独立的语言,正则表达式只与字符串有关
正则表达式的特点
贪婪匹配 : 回溯算法 。简单来说就是在允许的范围内取最长的匹配结果, 可以匹配一个或两个,贪婪匹配默认匹配两个
非贪婪模式/惰性匹配:在量词后面加? 在范围内,尽量少的匹配
例如:
(1)\d+?8 1234890809876487 遇到第一个8就不再匹配 ;
(2).*?x 匹配任意非换行符字符任意长度,直到遇到x;
(3)身份证是一个长度为15或18个字符 的字符串,如果是15位则全部由数字组成,首位不能为0;如果是18位,则前17位全部是数字,末尾可能是数字或x
123456789876543
123456789876543452
12345678987654342x
用正则表达式表示:[1-9]\d{16}[\dx]|[1-9]\d{14} [1-9]\d{14}(\d{2}[\dx])?
正则表达式的应用
1.从大量文字中找到符合规则的内容
爬虫
日志分析 提取2018-8-12 10:00:00时间段花的所有钱
2018-8-12 10:00:00 楼下早点摊
2.判断某个字符是否完全符合规则
表单验证:手机号、qq号、邮箱、银行卡、身份证号、密码
正则表达式——字符组
中括号[ ]里的内容只约束一个字符
[a-z] 匹配小写字母
[A-Z] 匹配大写字母
[0-9] 匹配数字
[3-5] 只要是从小到大就行
[a-zA-Z] 匹配大小写
[a-zA-Z0-9] 匹配大小写字母+数字
[a-zA-Z0-9_] 匹配数字字母下划线
[0-9a-fA-F] 可以匹配到数字,大小写的a-f,用来验证十六进制字符
正则表达式——转义符
\\w 让第二个转义符失去转义的特殊意义,去匹配\w \\->\
正则表达式——元字符
\w 匹配数字,字母,下划线 word关键字 [a-zA-Z0-9_]
\d 匹配所有的数字 digit [0-9]
\s 匹配所有的空格符 回车/换行符 制表符 space
匹配换行符 \n
匹配制表符 \t
匹配空格 (敲一个空格)不属于元字符,普通字符
\W (非数字,字母下划线) \D (非数字) \S(非空格符 回车/换行符 制表符) 和\w \d \s取反
[\s\S] [\d\D] [\w\W] 是三组全集,匹配所有字符
了解即可: \b 边界 ing\b 以ing结尾的 \bing 匹配以ing开头的
开始匹配符——^ 和 结束匹配符——$
- ^ 匹配一个字符串的开始 ^hello 匹配第一个hello 只写一个^,内容为空,匹配结果为1
- $ 匹配一个字符串的结尾 hello$ 匹配到结尾的hello
- . 匹配除换行符以外的所有字符
- [] 只要出现在中括号里的内容都可以被匹配
- [^] 只要不出现在中括号里的内容都可以被匹配 例[^abc] 除abc以外的都能匹配
注意:
有一些有特殊意义的元字符进入字符组中会恢复它本来的意义: . * | [不能成对出现] ( )
- 号在括号中有特殊意义,需要转义
例如要想匹配到( [(]或\( [\-] 才能匹配到-号
开始符和结束符:必须完全匹配,多一个不行,少一个不行
匹配一个11位电话号码: ^\d\d\d\d\d\d\d\d\d\d\d$
或—— |
a|b 或 符合a规则的或者b规则的都可以被匹配
匹配一位或两位数字 \d|\d\d
如果a规则是b规则的一部分,写a规则比b规则更苛刻或更长,将a规则写在前面 将更复杂的、更长的规则写在前面
分组 ——()
分组() 表示给几个字符加上量词约束的需求的时候,就给这些量词分在一个组
量词
- {n} 表示这个量词之前的字符出现的次数
- {n,} 表示这个量词之前的字符至少出现的次数
- {n,m} 表示这个量词之前的字符出现n-m次
- ? 表示匹配量词之前的字符出现0次 或者1次 表示可有可无
- + 表示匹配量词之前的字符出现一次或多次
- * 表示匹配量词之前的字符出现0次或者多次
例如:匹配一个11位电话号码:规则: 电话号码以1开头,第二位3-9的数字都可以取,数字9只能表示紧挨着的\d长度即9位数
1[3-9]\d{9}
几种字符的组合关系
- 字符/元字符 只约束一个字符
- 字符+量词 约束一个字符连续出现的次数
- 字符+量词+? 约束一个字符连续出现的最少次数
字符+量词+?+ x 约束一个字符连续出现量词范围内的最少次数,遇到x就立即停止
练习题
1.匹配整数或者小数(包括正数和负数)
-?\d+(\.\d+)?
2.匹配年月日 日期 格式2018-12-6
[1-9]\d{0,3}-(1[0-2]|0?[1-9])-(3[01]|[12]\d|0?[1-9])
3.匹配扣扣号
[1-9]\d{4-11} 5-12位
4.11位电话号码
1[3-9]\d{9}
5.长度为8-10位的用户密码:包括数字字母下划线
\w{8,10}
6.匹配验证码:4位数字字母组成的
[0-9a-zA-Z]{4}
7.匹配邮箱地址(需要先了解邮箱规则)
[0-9a-zA-Z][\w\-.]+@[a-zA-Z0-9\-]+([\.a-zA-Z0-9\-]+)*\.[a-zA-Z0-9]{2,6}
8.从类似
<a>wahaha</a>
<b>banana</b>
<h1>qqxing</h1>这样的字符中
(1)匹配除wahaha,banana,qqxing内容 有些时候匹配的内容和不想匹配的内容符合的正则规则一样(python处理正则表达式的结果)
\w{6} >\w+<
(2)匹配出a,b,h1这样的内容
<\w+>
9.从类似9-2*5/3+7/3*99/4*2998+10*89/12的表达式中匹配到第一个乘法或除法
\d+[*/]\d+
10.1-2*((60-30+(-40/5)+(9-2+5/3-7/3+99/4+2998-10+568/14)))-(-4+3)/(16-3+2)从算式中匹配出内层没有其他小括号的表达式
\([^()]+\)
常用的正则表达式
一、校验数字的表达式
- 数字:^[0-9]*$
- n位的数字:^\d{n}$
- 至少n位的数字:^\d{n,}$
- m-n位的数字:^\d{m,n}$
- 零和非零开头的数字:^(0|[1-9][0-9]*)$
- 非零开头的最多带两位小数的数字:^([1-9][0-9]*)+(\.[0-9]{1,2})?$
- 带1-2位小数的正数或负数:^(\-)?\d+(\.\d{1,2})$
- 正数、负数、和小数:^(\-|\+)?\d+(\.\d+)?$
- 有两位小数的正实数:^[0-9]+(\.[0-9]{2})?$
- 有1~3位小数的正实数:^[0-9]+(\.[0-9]{1,3})?$
- 非零的正整数:^[1-9]\d*$ 或 ^([1-9][0-9]*){1,3}$ 或 ^\+?[1-9][0-9]*$
- 非零的负整数:^\-[1-9][]0-9"*$ 或 ^-[1-9]\d*$
- 非负整数:^\d+$ 或 ^[1-9]\d*|0$
- 非正整数:^-[1-9]\d*|0$ 或 ^((-\d+)|(0+))$
- 非负浮点数:^\d+(\.\d+)?$ 或 ^[1-9]\d*\.\d*|0\.\d*[1-9]\d*|0?\.0+|0$
- 非正浮点数:^((-\d+(\.\d+)?)|(0+(\.0+)?))$ 或 ^(-([1-9]\d*\.\d*|0\.\d*[1-9]\d*))|0?\.0+|0$
- 正浮点数:^[1-9]\d*\.\d*|0\.\d*[1-9]\d*$ 或 ^(([0-9]+\.[0-9]*[1-9][0-9]*)|([0-9]*[1-9][0-9]*\.[0-9]+)|([0-9]*[1-9][0-9]*))$
- 负浮点数:^-([1-9]\d*\.\d*|0\.\d*[1-9]\d*)$ 或 ^(-(([0-9]+\.[0-9]*[1-9][0-9]*)|([0-9]*[1-9][0-9]*\.[0-9]+)|([0-9]*[1-9][0-9]*)))$
- 浮点数:^(-?\d+)(\.\d+)?$ 或 ^-?([1-9]\d*\.\d*|0\.\d*[1-9]\d*|0?\.0+|0)$
二、校验字符的表达式
- 汉字:^[\u4e00-\u9fa5]{0,}$
- 英文和数字:^[A-Za-z0-9]+$ 或 ^[A-Za-z0-9]{4,40}$
- 长度为3-20的所有字符:^.{3,20}$
- 由26个英文字母组成的字符串:^[A-Za-z]+$
- 由26个大写英文字母组成的字符串:^[A-Z]+$
- 由26个小写英文字母组成的字符串:^[a-z]+$
- 由数字和26个英文字母组成的字符串:^[A-Za-z0-9]+$
- 由数字、26个英文字母或者下划线组成的字符串:^\w+$ 或 ^\w{3,20}$
- 中文、英文、数字包括下划线:^[\u4E00-\u9FA5A-Za-z0-9_]+$
- 中文、英文、数字但不包括下划线等符号:^[\u4E00-\u9FA5A-Za-z0-9]+$ 或 ^[\u4E00-\u9FA5A-Za-z0-9]{2,20}$
- 可以输入含有^%&',;=?$\"等字符:[^%&',;=?$\x22]+
- 禁止输入含有~的字符:[^~\x22]+
三、特殊需求表达式
- Email地址:^\w+([-+.]\w+)*@\w+([-.]\w+)*\.\w+([-.]\w+)*$
- 域名:[a-zA-Z0-9][-a-zA-Z0-9]{0,62}(/.[a-zA-Z0-9][-a-zA-Z0-9]{0,62})+/.?
- InternetURL:[a-zA-z]+://[^\s]* 或 ^http://([\w-]+\.)+[\w-]+(/[\w-./?%&=]*)?$
- 手机号码:^(13[0-9]|14[5|7]|15[0|1|2|3|5|6|7|8|9]|18[0|1|2|3|5|6|7|8|9])\d{8}$
- 电话号码("XXX-XXXXXXX"、"XXXX-XXXXXXXX"、"XXX-XXXXXXX"、"XXX-XXXXXXXX"、"XXXXXXX"和"XXXXXXXX):^(\(\d{3,4}-)|\d{3.4}-)?\d{7,8}$
- 国内电话号码(0511-4405222、021-87888822):\d{3}-\d{8}|\d{4}-\d{7}
- 电话号码正则表达式(支持手机号码,3-4位区号,7-8位直播号码,1-4位分机号): ((\d{11})|^((\d{7,8})|(\d{4}|\d{3})-(\d{7,8})|(\d{4}|\d{3})-(\d{7,8})-(\d{4}|\d{3}|\d{2}|\d{1})|(\d{7,8})-(\d{4}|\d{3}|\d{2}|\d{1}))$)
- 身份证号(15位、18位数字),最后一位是校验位,可能为数字或字符X:(^\d{15}$)|(^\d{18}$)|(^\d{17}(\d|X|x)$)
- 帐号是否合法(字母开头,允许5-16字节,允许字母数字下划线):^[a-zA-Z][a-zA-Z0-9_]{4,15}$
- 密码(以字母开头,长度在6~18之间,只能包含字母、数字和下划线):^[a-zA-Z]\w{5,17}$
- 强密码(必须包含大小写字母和数字的组合,不能使用特殊字符,长度在 8-10 之间):^(?=.*\d)(?=.*[a-z])(?=.*[A-Z])[a-zA-Z0-9]{8,10}$
- 强密码(必须包含大小写字母和数字的组合,可以使用特殊字符,长度在8-10之间):^(?=.*\d)(?=.*[a-z])(?=.*[A-Z]).{8,10}$
- 日期格式:^\d{4}-\d{1,2}-\d{1,2}
- 一年的12个月(01~09和1~12):^(0?[1-9]|1[0-2])$
- 一个月的31天(01~09和1~31):^((0?[1-9])|((1|2)[0-9])|30|31)$
- 钱的输入格式:
- 有四种钱的表示形式我们可以接受:"10000.00" 和 "10,000.00", 和没有 "分" 的 "10000" 和 "10,000":^[1-9][0-9]*$
- 这表示任意一个不以0开头的数字,但是,这也意味着一个字符"0"不通过,所以我们采用下面的形式:^(0|[1-9][0-9]*)$
- 一个0或者一个不以0开头的数字.我们还可以允许开头有一个负号:^(0|-?[1-9][0-9]*)$
- 这表示一个0或者一个可能为负的开头不为0的数字.让用户以0开头好了.把负号的也去掉,因为钱总不能是负的吧。下面我们要加的是说明可能的小数部分:^[0-9]+(.[0-9]+)?$
- 必须说明的是,小数点后面至少应该有1位数,所以"10."是不通过的,但是 "10" 和 "10.2" 是通过的:^[0-9]+(.[0-9]{2})?$
- 这样我们规定小数点后面必须有两位,如果你认为太苛刻了,可以这样:^[0-9]+(.[0-9]{1,2})?$
- 这样就允许用户只写一位小数.下面我们该考虑数字中的逗号了,我们可以这样:^[0-9]{1,3}(,[0-9]{3})*(.[0-9]{1,2})?$
- 1到3个数字,后面跟着任意个 逗号+3个数字,逗号成为可选,而不是必须:^([0-9]+|[0-9]{1,3}(,[0-9]{3})*)(.[0-9]{1,2})?$
- 备注:这就是最终结果了,别忘了"+"可以用"*"替代如果你觉得空字符串也可以接受的话(奇怪,为什么?)最后,别忘了在用函数时去掉去掉那个反斜杠,一般的错误都在这里
- xml文件:^([a-zA-Z]+-?)+[a-zA-Z0-9]+\\.[x|X][m|M][l|L]$
- 中文字符的正则表达式:[\u4e00-\u9fa5]
- 双字节字符:[^\x00-\xff] (包括汉字在内,可以用来计算字符串的长度(一个双字节字符长度计2,ASCII字符计1))
- 空白行的正则表达式:\n\s*\r (可以用来删除空白行)
- HTML标记的正则表达式:<(\S*?)[^>]*>.*?|<.*? /> ( 首尾空白字符的正则表达式:^\s*|\s*$或(^\s*)|(\s*$) (可以用来删除行首行尾的空白字符(包括空格、制表符、换页符等等),非常有用的表达式)
- 腾讯QQ号:[1-9][0-9]{4,} (腾讯QQ号从10000开始)
- 中国邮政编码:[1-9]\d{5}(?!\d) (中国邮政编码为6位数字)
- IP地址:((?:(?:25[0-5]|2[0-4]\\d|[01]?\\d?\\d)\\.){3}(?:25[0-5]|2[0-4]\\d|[01]?\\d?\\d))
推荐一款正则表达式测试工具:http://tool.chinaz.com/regex/