PYTHON爬虫--01--urllib | requests

一、准备

1、数据库安装配置

（1）mongodb、redis、mysql

2、python多版本共存配置

（1）环境变量

• python 安装后，为了保证系统能够找到相应的命令，就是在命令行能够直接调用python 等命令，需要设置环境变量；

（2）多版本配置

• 多版本python 安装配置环境变量后，python 和 pip 等命令存在重名问题，直接调用和变量中的配置顺序有关，解决方法是，直接复制重命名，pip可能需要新建一个 py 文件；

3、爬虫常用库的安装

（1）安装命令：pip install requests；

（2）常用库

• 请求：urllib、re（内置）、requests
• 渲染：selenium（ChromeDriver）、phantomjs
• 解析：lxml、beautifulSoup、pyquery
• 存储：pymysql、pymongo
• 分布式：redis、flask
• 其他：django、jupyter

 

二、爬虫原理

1、流程

（1）发起请求

• 很多网站要求带 header，其中最主要的是 UA 和 cookie；

（2）接受响应

• 响应内容可能是 html、xml、json和二进制数据等；

（3）解析内容

• 通过正则、xpath、bs4、pyquery 等获取有效的数据；

（4）保存数据

• 文本可以直接保存文件，还可以存到数据库（关系和非关系），还可以存二进制文件；

 

三、urllib详解

1、综述

• 常用的有三个模块：request（发送请求）、error（错误处理）、parse（解析html）

2、请求-request

（1）request对象

• request.Request(url=url,data=data,headers=headers,method='POST')
• request.add_header('.....')

（2）代理：需要通过一个handler和openner来处理

3、响应-response

（1） 响应头和状态码

• reponse.status、response.getHeader

（2） 响应体

• response.read().decode('utf-8')

（3）cookie：需要通过一个handler和openner来处理

4、异常处理-error

（1）作用：保证程序的正常运行；

（2）常用的：URLerror--父类、HTTPerror

5、URL解析-parse

（1）url的组成：协议、域名、路径、参数、锚点（用于指定网络资源中的片断，以 # 为标志）

（2）常用方法：urlparse（分割）、urlunparse（组合）、urljoin（后面替换前面）、urlencode

（3）urlencode（）:将字典转化为 get 请求的参数

from urllib.parse import urlencode
base_url='https://www.baidu.com?'
dict1={
    'name':'kaka',
    'password':'ab123'
}
print (base_url+urlencode(dict1))

 

四、request库详解 

1、GET请求

（1）带参数的get请求

import requests
dict2={
   'name':'kaka',
   'password':'ab123' 
}
resp = requests.get('https://httpbin.org/get',params=dict2)
print (resp.text)

（2）json解析 

import requests
import json

resp = requests.get('https://httpbin.org/get')
print (resp.json())
print(json.loads(resp.text))

（3）获取二进制数据 

import requests
resp = requests.get('https://ss0.bdstatic.com/5aV1bjqh_Q23odCf/static/superman/img/logo/logo_white_fe6da1ec.png')
with open('e:\\1.png','wb') as f:
    f.write(resp.content)
    f.close()

（4）添加headers

• 某些网站需要验证请求头的信息

import requests
requests.get('.........',headers=headers)

2、POST请求

• 方法类似get请求的方法，请求体用一个字典封装(data)

requests.post('',data=data,headers=headers)

3、高级操作

（1）文件上传

import requests
file={
    '12.png':open('e:\\1.png','rb')
}
resp=requests.post('https://httpbin.org/post',files=file)
print(resp.text)

（2）获取cookie

import requests

resp=requests.get('https://www.baidu.com')
for k,v in resp.cookies.items():
    print('key='+k+'  value='+v)

（3）登录状态保持

• response.cookies

import requests
se = requests.Session()

resp=se.get('https://httpbin.org/cookies/set/name/kaka')
resp2 = se.get('https://httpbin.org/cookies')
print(resp2.text)

（4）证书验证：get('.....',verify=false)

（5）代理设置：get('.....',proxys=proxys)

（6）超时设置：get('.....',timeout=1)

（7）认证设置：get('.....',auth=('kaka','123'))

（8）异常处理：保证程序的正常运行