第四天：urllib库的高级用法_urllib proxy-优快云博客

本文链接：https://blog.youkuaiyun.com/kouweizhu/article/details/145587516

每天上午9点左右更新一到两篇文章到专栏《Python爬虫训练营》中，对于爬虫有兴趣的伙伴可以订阅专栏一起学习，完全免费。

键盘为桨，代码作帆。这趟为期30天左右的Python爬虫特训即将启航，每日解锁新海域：从Requests库的浪花到Scrapy框架的深流，从反爬迷雾中的破局到数据清洗的澄澈。我们拆解网页结构如同解读星图，让XPath与正则表达式化作导航罗盘。每个深夜的代码调试，终将凝结成破晓时的数据宝藏。训练营不设码头，结营之日，正是你独自远征星辰大海的起点。

文章目录

一、伪装自己

有些网站不会同意程序直接用上面的方式进行访问，如果识别有问题，那么站点根本不会响应，所以为了完全模拟浏览器的工作。

1.1 设置请求头

其中User-Agent代表用的哪个请求的浏览器

代码如下：

from urllib.request import urlopen
from urllib.request import Request

url = 'http://www.server.com/login'
user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)' 
headers = { 'User-Agent' : user_agent }  

request = Request(url, headers=headers)  
response = urlopen(request)  
page = response.read()

对付防盗链，服务器会识别headers中的referer是不是它自己，如果不是，有的服务器不会响应，所以我们还可以在headers中加入referer

代码如下：

headers = { 
         'User-Agent' : 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)',
         'Referer':'http://www.zhihu.com/articles' 
          }

提示：在此可以使用多个User_Agent:然后随机选择

import urllib.request
import random
ua_list = [
    "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.0)",
    "Mozilla/5.0 (Windows; U; Windows NT 5.2) Gecko/2008070208 Firefox/3.0.1",
    "Mozilla/5.0 (Windows; U; Windows NT 5.2) AppleWebKit/525.13 (KHTML, like Gecko) Version/3.1",
    "Mozilla/5.0 (Windows; U; Windows NT 5.2) AppleWebKit/525.13 (KHTML, like Gecko) Chrome/0.2.149.27",
    "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1) ;  QIHU 360EE)"
]
user_agent = random.choice(ua_list)
request = urllib.request.Request("http://www.baidu.com")
request.add_header("User-Agent",user_agent)
#区分大小写
print(request.get_header("User-agent"))

对于随机UserAgent,PYthon有提供一个模块库fake-useragent,安装如下：

pip install fake-useragent

1.2 设置代理Proxy

假如一个网站它会检测某一段时间某个IP 的访问次数，如果访问次数过多，它会禁止你的访问。所以你可以设置一些代理服务器来帮助你做工作，每隔一段时间换一个代理，网站君都不知道是谁在捣鬼了，这酸爽！

分类：
透明代理：目标网站知道你使用了代理并且知道你的源IP地址，这种代理显然不符合我们这里使用代理的初衷

匿名代理：匿名程度比较低，也就是网站知道你使用了代理，但是并不知道你的源IP地址

高匿代理：这是最保险的方式，目标网站既不知道你使用的代理更不知道你的源IP

代码如下：

from urllib.request import ProxyHandler
from urllib.request import build_opener

proxy = ProxyHandler({"http": "119.109.197.195:80"})
opener = build_opener(proxy)
url = "http://www.baidu.com"
response = opener.open(url)
print(response.read().decode("utf-8"))

二、DebugLog的使用

可以通过下面的方法把 Debug Log 打开，这样收发包的内容就会在屏幕上打印出来，方便调试，这个也不太常用，仅提一下。

from urllib.request import HTTPHandler
from urllib.request import build_opener
from urllib.request import Request

handler = HTTPHandler(debuglevel=1)
opener = build_opener(handler)
url = "http://www.baidu.com"
request = Request(url)
response = opener.open(request)