测试有道之浏览器的模拟--Headers属性

• 有时候我们爬一些网页的时候会出现403错误(urllib.error.HTTPError:HTTP Error 403:Forbidden),因为这些网站为了防止别人恶意采集信息进行了一些反爬虫的设置，解决方法：将爬虫伪装成浏览器

• 方法一：使用build_opener()修改报头
  (1)首先，定义一个变量url存储要爬取得网址，然后又定义一个变量存储UA信息，格式为一个元组(“User-Agent”, “具体信息”)
  (2)使用urllib.request.build_opener()方法创建opener对象
  (3)设置opener的addheaders属性：opener.addheaders = [头信息]，是一个元组，如上面的(“User-Agent”, “具体信息”)
  (4)使用设置了头信息的opener对象的open方法直接打开url就实现了模拟浏览器打开url了。

  由于urlopen()不支持HTTP的一些高级功能，所以我们如果要修改报头，可以使用urllib.request.build_opener(*handlers)
  import urllib.request
  url = “http://blog.youkuaiyun.com/beliefer/article/details/51251757”
  headers_UA = (“User-Agent”, “Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.94 Safari/537.36”)
  opener = urllib.request.build_opener()
  opener.addheaders = [headers_UA]
  data = opener.open(url).read()
  with open(‘csdn01.html’,’wb’) as f:f.write(data)

• 方法二：使用add_header()添加报头
  (1)使用urllib.request.Request(url)创建一个Request对象
  (2)使用Resquest对象的add_header(‘User-Agent’,’具体信息’)方法为Request对象添加头信息
  (3)使用urllib.request.urlopen(req)方法打开添加了头信息的Request对象

import urllib.request
url = “http://blog.youkuaiyun.com/beliefer/article/details/51251757”
req = urllib.request.Request(url)
req.add_header (“User-Agent”, “Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.94 Safari/537.36”)
data = urllib.request.urlopen(req).read()