自学Python 3网络爬虫（一）

 

 

urllib提供了一系列用于操作URL的功能。

 

import urllib.request
url = "http://www.baidu.com"
#data返回类型：<class 'http.client.HTTPResponse'>
# data = urllib.request.urlopen(url)
# data.geturl()：http://www.baidu.com
data = urllib.request.urlopen(url).read()
# 编码转换
data = data.decode('UTF-8')
print(data)

可以用type(data)获取data=urllib.request.urlopen(url)的返回类型是：<class 'http.client.HTTPResponse'>；

 

 

urlopen返回对象提供方法：

 -read() , readline() ,readlines() , fileno() , close() ：这些方法的使用方式与文件对象完全一样

 -info()：返回一个httplib.HTTPMessage对象，表示远程服务器返回的头信息

 -getcode()：返回Http状态码。如果是http请求，200请求成功完成;404网址未找到

 -geturl()：返回请求的url