在使用Python进行数据采集的时候,经常需要用到正则表达式。合理使用可以极大的提高效率。

  • . 匹配除换行符以外的任意字符

  • \w 匹配字母或数字或下划线或汉字

  • \s 匹配任意的空白符

  • \d 匹配数字

  • \b 匹配单词的开始或结束

  • ^ 匹配字符串的开始

  • $ 匹配字符串的结束

  • * 重复零次或更多次

  • + 重复一次或更多次

  • ? 重复零次或一次

  • {n} 重复n次

  • {n,} 重复n次或更多次

  • {n,m} 重复n到m次

  • \W 匹配任意不是字母,数字,下划线,汉字的字符

  • \S 匹配任意不是空白符的字+

  • \D 匹配任意非数字的字符

  • \B 匹配不是单词开头或结束的位置

  • [^x] 匹配除了x以外的任意字符

  • [^aeiou] 匹配除了aeiou这几个字母以外的任意字符

  • | 把不同的规则分隔开

  • - 不是元字符,只匹配它本身

例子:

  1. 0\d\d-\d\d\d\d\d\d\d\d 匹配这样的字符串:以0开头,然后是两个数字,然后是一个连字号“-”,最后是8个数字。我们也可以这样写这个表达式:0\d{2}-\d{8}
  2. \b\w{6}\b 匹配刚好6个字符的单词。
  3. hi后面不远处跟着一个Lucy,你应该用\bhi\b.*\bLucy\b。
  4. \d+匹配1个或更多连续的数字。这里的+是和*类似的元字符,不同的是*匹配重复任意次(可能是0次),而+则匹配重复1次或更多次。
  5. \ba\w*\b匹配以字母a开头的单词——先是某个单词开始处(\b),然后是字母a,然后是任意数量的字母或数字(\w*),最后是单词结束处(\b)。
  6. ^匹配你要用来查找的字符串的开头,匹配结尾。这两个代码在验证输入的内容时非常有用,比如一个网站如果要求你填写的QQ号必须为5位到12位数字时,可以使用:^\d{5,12}
  7. Windows\d+匹配Windows后面跟1个或更多数字
  8. ^\w+匹配一行的第一个单词(或整个字符串的第一个单词,具体匹配哪个意思得看选项设置)
  9. [aeiou]就匹配任何一个英文元音字母
  10. [.?!]匹配标点符号(.或?或!)。
  11. [0-9]代表的含意与\d就是完全一致的:一位数字;
  12. [a-z0-9A-Z_]也完全等同于\w(如果只考虑英文的话)
  13. (?0\d{2}[) -]?\d{8} 这个表达式可以匹配几种格式的电话号码,像(010)88886666,或022-22334455,或02912345678等。我们对它进行一些分析吧:首先是一个转义字符(,它能出现0次或1次(?),然后是一个0,后面跟着2个数字(\d{2}),然后是)或-或空格中的一个,它出现1次或不出现(?),最后是8个数字(\d{8})。
  14. 0\d{2}-\d{8}|0\d{3}-\d{7}这个表达式能匹配两种以连字号分隔的电话号码:一种是三位区号,8位本地号(如010-12345678),一种是4位区号,7位本地号(0376-2233445)。
  15. (?0\d{2})?[- ]?\d{8}|0\d{2}[- ]?\d{8}这个表达式匹配3位区号的电话号码,其中区号可以用小括号括起来,也可以不用,区号与本地号间可以用连字号或空格间隔,也可以没有间隔。你可以试试用分枝条件把这个表达式扩展成也支持4位区号的。
  16. \d{5}-\d{4}|\d{5}这个表达式用于匹配美国的邮政编码。美国邮编的规则是5位数字,或者用连字号间隔的9位数字。之所以要给出这个例子是因为它能说明一个问题:使用分枝条件时,要注意各个条件的顺序。如果你把它改成\d{5}|\d{5}-\d{4}的话,那么就只会匹配5位的邮编(以及9位邮编的前5位)。原因是匹配分枝条件时,将会从左到右地测试每个条件,如果满足了某个分枝的话,就不会去再管其它的条件了。
  17. (\d{1,3}.){3}\d{1,3}是一个简单的IP地址匹配表达式。要理解这个表达式,请按下列顺序分析它:\d{1,3}匹配1到3位的数字,(\d{1,3}.){3}匹配三位数字加上一个英文句号(这个整体也就是这个分组)重复3次,最后再加上一个一到三位的数字(\d{1,3})。不幸的是,它也将匹配256.300.888.999这种不可能存在的IP地址。如果能使用算术比较的话,或许能简单地解决这个问题,但是正则表达式中并不提供关于数学的任何功能,所以只能使用冗长的分组,选择,字符类来描述一个正确的IP地址:((2[0-4]\d|25[0-5]|[01]?\d\d?).){3}(2[0-4]\d|25[0-5]|[01]?\d\d?)。
  18. \S+匹配不包含空白符的字符串。
  19. <a[^>]+>匹配用尖括号括起来的以a开头的字符串。

正则表达式的先行断言和后行断言

  • (?=pattern) 零宽正向先行断言(zero-width positive lookahead assertion) ,如:re(?=gular),限定了re右边的位置,这个位置之后是gular
  • (?!pattern) 零宽负向先行断言(zero-width negative lookahead assertion) ,如:re(?!g),限定了re右边的位置,这个位置后面不是字符g
  • (?<=pattern) 零宽正向后行断言(zero-width positive lookbehind assertion) ,如:(?<=\w)re,匹配单词内部的re,在re前面应该是一个单词字符。
  • (?<!pattern) 零宽负向后行断言(zero-width negative lookbehind assertion) ,如:(?<!\w)re,re前面不是单词字符
  • 这里面的pattern是一个正则表达式。

常用的正则表达式:

  1. 验证用户名和密码:”[1]\w{5,15}$”
  2. 验证电话号码:(”^([\d{3,4}-)\d{7,8}](file:///d](file:///d%7B3,4%7D-)//d%7B7,8%7D)”)eg:021-68686868 0511-6868686;
  3. 验证手机号码:”^1[3|4|5|7|8][0-9]\d{8}$”;
  4. 验证身份证号(15位或18位数字):”\d{14}[[0-9],0-9xX]”;
  5. 验证Email地址:(“^\w+([-+.]\w+)*@\w+([-.]\w+)*.\w+([-.]\w+)*$”);
  6. 只能输入由数字和26个英文字母组成的字符串:(“[2]+$”) ;
  7. 整数或者小数:[3]+([.]{0,1}[0-9]+){0,1}$
  8. 只能输入数字:”[4]*$”。
  9. 只能输入n位的数字:”^\d{n}$”。
  10. 只能输入至少n位的数字:”^\d{n,}$”。
  11. 只能输入m~n位的数字:”^\d{m,n}$”。
  12. 只能输入零和非零开头的数字:”^(0|[1-9][0-9]*)$”。
  13. 只能输入有两位小数的正实数:”[5]+(.[0-9]{2})?$”。
  14. 只能输入有1~3位小数的正实数:”[6]+(.[0-9]{1,3})?$”。
  15. 只能输入非零的正整数:”^+?[1-9][0-9]*$”。
  16. 只能输入非零的负整数:”^-[1-9][]0-9″*$。
  17. 只能输入长度为3的字符:”^.{3}$”。
  18. 只能输入由26个英文字母组成的字符串:”[7]+$”。
  19. 只能输入由26个大写英文字母组成的字符串:”[8]+$”。
  20. 只能输入由26个小写英文字母组成的字符串:”[9]+$”。
  21. 验证是否含有^%&',;=?\”等字符:”[^%&',;=?\x22]+”。
  22. 只能输入汉字:”[10]{0,}$”。
  23. 验证URL:"http(s)?://([\w-]+\.)+[\w-]+(/[\w- ./?%&=]*)?"。
  24. 验证一年的12个月:”^(0?[1-9]|1[0-2])$”正确格式为:”01″~”09″和”10″~”12″。
  25. 验证一个月的31天:”^((0?[1-9])|((1|2)[0-9])|30|31)$”正确格式为;”01″~”09″、”10″~”29″和“30”~“31”。
  26. 获取日期正则表达式:\d{4}[年|-|.]\d{\1-\12}[月|-|.]\d{\1-\31}日?评注:可用来匹配大多数年月日信息。
  27. 匹配双字节字符(包括汉字在内):[^\x00-\xff]评注:可以用来计算字符串的长度(一个双字节字符长度计2,ASCII字符计1)
  28. 匹配空白行的正则表达式:\n\s*\r评注:可以用来删除空白行
  29. 匹配HTML标记的正则表达式:<(\S*?)[^>]>.?</>|<.*? />评注:网上流传的版本太糟糕,上面这个也仅仅能匹配部分,对于复杂的嵌套标记依旧无能为力
  30. 匹配首尾空白字符的正则表达式:^\s*|\s*$评注:可以用来删除行首行尾的空白字符(包括空格、制表符、换页符等等),非常有用的表达式
  31. 匹配网址URL的正则表达式:[a-zA-z]+://[^\s]*评注:网上流传的版本功能很有限,上面这个基本可以满足需求
    32.匹配帐号是否合法(字母开头,允许5-16字节,允许字母数字下划线):[11][a-zA-Z0-9_]{4,15}$评注:表单验证时很实用
  32. 匹配腾讯QQ号:[1-9][0-9]{4,}评注:腾讯QQ号从10 000 开始
  33. 匹配中国邮政编码:[1-9]\d{5}(?!\d) 评注:中国邮政编码为6位数字
  34. 匹配ip地址:((2[0-4]\d|25[0-5]|[01]?\d\d?).){3}(2[0-4]\d|25[0-5]|[01]?\d\d?)。

  1. a-zA-Z ↩︎

  2. A-Za-z0-9 ↩︎

  3. 0-9 ↩︎

  4. 0-9 ↩︎

  5. 0-9 ↩︎

  6. 0-9 ↩︎

  7. A-Za-z ↩︎

  8. A-Z ↩︎

  9. a-z ↩︎

  10. \u4e00-\u9fa5 ↩︎

  11. a-zA-Z ↩︎