六、urllib的学习

1、 urllib介绍

• 除了requests模块可以发送请求之外, urllib模块也可以实现请求的发送,只是操作方法略有不同!
• urllib在python中分为urllib和urllib2，在python3中为urllib

下面以python3的urllib为例进行讲解

2、 urllib的基本方法介绍

2.1 urllib.urlopoen

传入URL地址

import urllib.request
response = urllib.request.urlopen("http://www.baidu.com")
print(response.read())

2.2 urllib.Request

（1）构造简单请求

 import urllib.request
 #构造请求
 request = urllib.request.Request("http://www.baidu.com")
 #发送请求获取响应
 response = urllib.request.urlopen(request)
 print(resp.read())

（2）传入headers参数

 import urllib.request
 #构造headers
 headers = {"User-Agent" : "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0)"} 
 #构造请求
 request = urllib.request.Request(url, headers = headers)
 #发送请求
 response = urllib.request.urlopen(request)
 print(resp.read())

（3）传入data参数 实现发送post请求

 import urllib.request
 import urllib.parse

 headers = {"User-Agent": "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0)"}
 # 构造请求数据字典
 data = {"email":"mr_mao_hacker@163.com", "password":"alarmchime"}
 # 对请求数据字典编码为bytes类型
 data = urllib.parse.urlencode(data).encode('utf-8')
 # 构造请求
 request = urllib.request.Request('http://www.renren.com/PLogin.do', data=data, headers=headers)
 # 发送请求获取响应
 resp = urllib.request.urlopen(request)
 # 获取响应的文本内容
 print(resp.read())

2.3 response.read()

获取响应的html字符串,bytes类型

import urllib.request
#构造请求
request = urllib.request.Request("http://www.baidu.com")
#发送请求获取响应
response = urllib.request.urlopen(request)
# 打印响应的文本内容 bytes类型
print(response.read())
# 打印响应的文本内容 str类型
print(response.read().decode())