第三节&Handler处理器 和 自定义Opener的使用

1.Handler处理器 和 自定义Opener

• opener是 urllib2.OpenerDirector 的实例，前面使用的urlopen，就是一个特殊的opener（也就是模块帮我们构建好的）。
• 基本的urlopen()方法不支持代理、cookie等其他的HTTP/HTTPS高级功能。所以要支持这些功能：
  • 1.使用相关的 Handler处理器 来创建特定功能的处理器对象；
  • 2 然后通过 urllib2.build_opener()方法使用这些处理器对象，创建自定义opener对象；
  • 3.使用自定义的opener对象，调用open()方法发送请求。
• 如果程序里所有的请求都使用自定义的opener，可以使用urllib2.install_opener() 将自定义的 opener 对象 定义为 全局opener，表示如果之后凡是调用urlopen，都将使用这个opener

2.自定义opener()爬取百度首页

	import urllib.request as urllib2
	
	
	#构建一个HTTP Handler处理器对象，支持处理HTTP的请求
	http_hander = urllib2.HTTPHandler()
	
	#调用bulid_opener方法构建一个自定义的opener对象，参数使构建的处理器对象
	opener = urllib2.build_opener(http_hander)
	
	
	request = urllib2.Request('http://www.baidu.com/')
	
	response = opener.open(request)
	
	html = response.read().decode(encoding='utf-8')
	
	print(html)
	
	with open('baidu.html','w',encoding='utf-8') as f:
		f.write(html)
	
## 带log自定义opener()爬取百度首页
import urllib.request as urllib2


#构建一个HTTP Handler处理器对象，支持处理HTTP的请求
#在HTTPHandler增加参数'debuglevel=1'将会自动打开Debug log模式，
#程序在执行的时候会打印收发包的信息
http_hander = urllib2.HTTPHandler(debuglevel=1)

#调用bulid_opener方法构建一个自定义的opener对象，参数使构建的处理器对象
opener = urllib2.build_opener(http_hander)


request = urllib2.Request('http://www.baidu.com/')

response = opener.open(request)

html = response.read().decode(encoding='utf-8')

#print(html)

with open('baidu.html','w',encoding='utf-8') as f:
	f.write(html)

3.ProxyHandler处理器（代理设置）

使用代理IP，这是爬虫/反爬虫的第二大招，通常也是最好用的。
很多网站会检测某一段时间某个IP的访问次数(通过流量统计，系统日志等)，如果访问次数多的不像正常人，它会禁止这个IP的访问。
所以我们可以设置一些代理服务器，每隔一段时间换一个代理，就算IP被禁止，依然可以换个IP继续爬取。
urllib2中通过ProxyHandler来设置使用代理服务器，下面代码说明如何使用自定义opener来使用代理：

使用公开免费代理访问服务器

import urllib.request as urllib2
import urllib

#是否启用代理服务器
proxyswitch = True

# 构建了两个代理Handler，一个有代理IP，一个没有代理IP
#当使用私密代理时，需要账号密码登录授权
#httpproxy_handler = urllib2.ProxyHandler({'http':'账号:密码@124.232.133.199:3128'})
httpproxy_handler = urllib2.ProxyHandler({'http':'124.232.133.199:3128'})
nullproxy_handler = urllib2.ProxyHandler({})


# 通过 urllib2.build_opener()方法使用这些代理Handler对象，创建自定义opener对象
# 根据代理开关是否打开，使用不同的代理模式
if proxyswitch:
	opener = urllib2.build_opener(httpproxy_handler)
else:
	opener = urllib2.build_opener(nullproxy_handler)

#urllib2.install_opener(opener)

request = urllib2.Request('http://www.baidu.com/')

response = opener.open(request)

html = response.read().decode(encoding='utf-8')

print(html)

使用需要授权的私密代理访问服务器

import urllib.request as urllib2

authproxy_handler = urllib2.ProxyHandler({'http':'账号:密码@124.232.133.199:3128'})

opener = urllib2.build_opener(authproxy_handler)

request = urllib2.Request('http://www.baidu.com/')

response = opener.open(request)

print(response.read().decode(encoding='utf-8')) 

把私密代理的账号密码写入系统环境变量，从系统环境变量中读取账号密码进行访问

import urllib.request as urllib2
import os

#从系统环境变量中取出授权的账号密码
#proxyuser、proxypasswd表示系统环境变量中的存放账号密码的变量名
proxyuser = os.environ.get('proxyuser')
proxypasswd = os.environ.get('proxypasswd')


print(type(proxypasswd))
print(type(proxyuser))

#授权的代理账户密码拼接
#当取不到环境变量的值时会产生报错，proxyuser、proxypasswd为NoneType
authproxy_handler = urllib2.ProxyHandler({'http': proxyuser + ":" + proxypasswd + "@124.232.133.199:3128"})

opener = urllib2.build_opener(authproxy_handler)

request = urllib2.Request('http://www.baidu.com/')

response = opener.open(request)

print(response.read().decode(encoding='utf-8'))

4.代理密码管理器

#访问需要授权密码的客户端站点
import urllib.request as urllib2

test = 'test'

password = '123456'

websever = '192.168.21.52'

#构建一个密码管理器对象，可以用来保存和HTTP请求相关类的授权账户信息
passwordMgr = urllib2.HTTPPasswordMgrWithDefaultRealm()

#添加授权账户信息，第一个参数realm如果没有指定就写None，后三个分别是站点IP、账户和密码
passwordMgr.add_password(None,websever,test,password)

#HTTPBasicAuthHandler()HTTP基础验证处理器
httpauth_handler = urllib2.HTTPBasicAuthHandler(passwordMgr)

#处理代理基础验证相关的处理器类
proxyauth_handler = urllib2.ProxyBasicAuthHandler(passwordMgr)

#构建自定义的opener,可以添加多个处理器
opener = urllib2.build_opener(httpauth_handler,proxyauth_handler)

request = urllib2.Request('http://'+websever)

#有授权验证信息
response = opener.open(request)

#没有授权验证信息
response = urllib2.urlopen(request)

html = response.read().decode(encoding='utf-8')