python爬虫(基础篇)
网络爬虫:模拟客户端发送请求获取响应数据,按照一定规则,自动从万维网上获取信息的程序。
1 requests请求库
是一个优雅而简单的python HTTP请求库,作用是发送请求获取响应数据。
基本使用
import requests
#发送请求,获取响应
response=requests.get('http://www.baidu.com')
#print(response)
#获取响应数据
response.encoding='utf-8' #改变编码方式
print(response.text)
#更简易方式 response.content.decode() content熟悉为响应内容的二进制,decode默认utf-8
2 Beautiful Soup
是一个可以从HTML或XML文件中提取数据的python库
安装:bs4,lxml(解析库)
lxml是一个解析器,也是下面的xpath要用到的库,bs4将网页字符串生成对象的时候需要用到解析器,就用lxml,或者使用官方自带的解析器 html.parser
bs对象
代表要解析的整个文档树,它支持遍历文档树和搜索文档树中描述的大部分方法。
#创建
from bs4 import BeautifulSoup
soup=BeautifulSoup('<html>data</html>','lxml')
print(soup)
bs对象中find方法
作用:搜索文档树
find(self,name=None,attrs={},recursive=True,text=None,**kwargs)
参数:
name:标签名
attrs:属性字典
recursive:是否递归循环查找
text:根据文本内容查找
返回:
查找到的第一个元素对象
find_all:返回所有
1 根据标签名查找
from bs4 import BeautifulSoup
#准备文档字符串
html=''' '''
#创建bs对象
soup=BeautifulSoup(html,'lxml')
#查找标签
title=soup.find('title')
print(title)
2 根据属性进行查找
#查找id为link1的标签
# 1 通过命名参数进行指定
a=soup.find(id='link1')
print(a)
# 2 通过attrs来指定属性字典,进行查找(更通用)
a=soup.find(attrs={'id':'link1'})
print(a)
3 根据文本内容进行查找
text=soup.find(text='aaa')
print(text)
Tag对象
对应于原始文档中的XML或HTML标签
Tag有很多方法和属性,可用遍历文档树和搜索文档树来获取标签内容
常见属性:
name:获取标签名称
attrs:获取标签所有属性的键和值
text:获取标签的文本字符串
# 标签名 a
print('标签名',a.name)
print('标签所有属性',a.attrs)
print('标签文本内容',a.text)
3 正则表达式
正则表达式是一种字符串匹配的模式。
作用:
检查一个字符串是否含有某个子串
替换匹配的子串
提取某个字符串中匹配的子串
基本匹配模式
模式字符串使用特殊的语法来表示一个正则表达式:
字母和数字表示他们自身。一个正则表达式模式中的字母和数字匹配同样的字符串。
多数字母和数字前加一个反斜杠时会拥有不同的含义。
标点符号只有被转义时才匹配自身,否则它们表示特殊的含义。
反斜杠本身需要使用反斜杠转义。
由于正则表达式通常都包含反斜杠,所以你最好使用原始字符串来表示它们。模式元素(如 r’\t’,等价于 \t )匹配相应的特殊字符。
下表列出了正则表达式模式语法中的特殊元素。如果你使用模式的同时提供了可选的标志参数,某些模式元素的含义会改变。
模式 | 描述 |
---|---|
^ | 匹配字符串的开头 |
$ | 匹配字符串的末尾。 |
. | 匹配任意字符,除了换行符,当re.DOTALL标记被指定时,则可以匹配包括换行符的任意字符。 |
[…] | 用来表示一组字符,单独列出:[amk] 匹配 ‘a’,‘m’或’k’ |
[^…] | 不在[]中的字符:[^abc] 匹配除了a,b,c之外的字符。 |
re* | 匹配0个或多个的表达式。 |
re+ | 匹配1个或多个的表达式。 |
re? | 匹配0个或1个由前面的正则表达式定义的片段,非贪婪方式 |
re{ n} | 匹配n个前面表达式。例如,"o{2}“不能匹配"Bob"中的"o”,但是能匹配"food"中的两个o。 |
re{ n,} | 精确匹配n个前面表达式。例如,"o{2,}“不能匹配"Bob"中的"o”,但能匹配"foooood"中的所有o。"o{1,}“等价于"o+”。"o{0,}“则等价于"o*”。 |
re{ n, m} | 匹配 n 到 m 次由前面的正则表达式定义的片段,贪婪方式 |
a| b | 匹配a或b |
(re) | 匹配括号内的表达式,也表示一个组 |
(?imx) | 正则表达式包含三种可选标志:i, m, 或 x 。只影响括号中的区域。 |
(?-imx) | 正则表达式关闭 i, m, 或 x 可选标志。只影响括号中的区域。 |
(?: re) | 类似 (…), 但是不表示一个组 |
(?imx: re) | 在括号中使用i, m, 或 x 可选标志 |
(?-imx: re) | 在括号中不使用i, m, 或 x 可选标志 |
(?#…) | 注释. |
(?= re) | 前向肯定界定符。如果所含正则表达式,以 … 表示,在当前位置成功匹配时成功,否则失败。但一旦所含表达式已经尝试,匹配引擎根本没有提高;模式的剩余部分还要尝试界定符的右边。 |
(?! re) | 前向否定界定符。与肯定界定符相反;当所含表达式不能在字符串当前位置匹配时成功。 |
(?> re) | 匹配的独立模式,省去回溯。 |
\w | 匹配数字字母下划线 |
\W | 匹配非数字字母下划线 |
\s | 匹配任意空白字符,等价于 [\t\n\r\f]。 |
\S | 匹配任意非空字符 |
\d | 匹配任意数字,等价于 [0-9]。 |
\D | 匹配任意非数字 |
\A | 匹配字符串开始 |
\Z | 匹配字符串结束,如果是存在换行,只匹配到换行前的结束字符串。 |
\z | 匹配字符串结束 |
\G | 匹配最后匹配完成的位置。 |
\b | 匹配一个单词边界,也就是指单词和空格间的位置。例如, ‘er\b’ 可以匹配"never" 中的 ‘er’,但不能匹配 “verb” 中的 ‘er’。 |
\B | 匹配非单词边界。‘er\B’ 能匹配 “verb” 中的 ‘er’,但不能匹配 “never” 中的 ‘er’。 |
\n, \t, 等。 | 匹配一个换行符。匹配一个制表符, 等 |
\1…\9 | 匹配第n个分组的内容。 |
\10 | 匹配第n个分组的内容,如果它经匹配。否则指的是八进制字符码的表达式。 |
1111111111 |
字符匹配实例
字符匹配
实例 | 描述 |
---|---|
python | 匹配 “python”. |
字符类
实例 | 描述 |
---|---|
[Pp]ython | 匹配 “Python” 或 “python” |
rub[ye] | 匹配 “ruby” 或 “rube” |
[aeiou] | 匹配中括号内的任意一个字母 |
[0-9] | 匹配任何数字。类似于 [0123456789] |
[a-z] | 匹配任何小写字母 |
[A-Z] | 匹配任何大写字母 |
[a-zA-Z0-9] | 匹配任何字母及数字 |
[^aeiou] | 除了aeiou字母以外的所有字符 |
[^0-9] | 匹配除了数字外的字符 |
特殊字符类(预定义字符集)
实例 | 描述 |
---|---|
. | 匹配除 “\n” 之外的任何单个字符。要匹配包括 ‘\n’ 在内的任何字符,请使用象 ‘[.\n]’ 的模式。 |
\d | 匹配一个数字字符。等价于 [0-9]。 |
\D | 匹配一个非数字字符。等价于 [^0-9]。 |
\s | 匹配任何空白字符,包括空格、制表符、换页符等等。等价于 [ \f\n\r\t\v]。 |
\S | 匹配任何非空白字符。等价于 [^ \f\n\r\t\v]。 |
\w | 匹配包括下划线的任何单词字符。等价于’[A-Za-z0-9_]’。 |
\W | 匹配任何非单词字符。等价于 ‘[^A-Za-z0-9_]’。 |
使用
import re
#字符匹配
rs=re.findall('abc','abc')
rs=re.findall('a[bc]d','abc')
#预定义的字符集
rs=re.findall('\d','123')
#数量词
rs=re.findall('\d*','123')
rs=re.findall('\d{2}','123') #指定次数
print(rs)
re.fiandall()方法
API
-
re.findall(pattern,string,flags=0)
-
作用:扫描整个string字符串,返回所有与pattern匹配的列表
-
参数
- pattern:正则表达式
- string:要匹配的字符串
- 匹配模式
-
举例
re.findall('\d','hao1hao2')>>['1','2']
使用
#flags参数的作用
rs=re.findall('a.bc','a\nc',re.S)
#findall方法中分组的使用
rs=re.findall('a.+bc','a\nc',re.S)
rs=re.findall('a(.+)bc','a\nc',re.S)
#分组后只返回括号内匹配的内容,括号两边字符用以定位
正则中r原串
#不使用r原串,遇到转义符怎么办
rs=re.findall('a\nbc','a\nc')
rs=re.findall('a\\\\nbc','a\\nc')
#r原串在正则中可以消除转义符带来的影响
rs=re.findall(r'a\\nbc','a\\nc')
4 json模块
json模块是python自带的模块,用于json与python数据之间的相互转换。
json转python
python转json
5 项目实例:疫情数据采集
思路
1.发送请求,获取疫情首页
2.从疫情首页中提取近一日各国疫情字符串
3.提取json格式字符串
4.将json格式字符串转化为python类型
import requests
from bs4 import BeautifulSoup
import re
import json
response=requests.get('https://ncov.dxy.cn/ncovh5/view/pneumonia')
home_page=response.content.decode()
soup=BeautifulSoup(home_page,'lxml')
script=soup.find(id="getListByCountryTypeService2true")
text=script.string
json_str=re.findall(r'\[.+\]',text)[0]
last_day=json.loads(json_str)
print(last_day)
参考:黑马程序员