在python获取网页的代码中添加头信息模拟浏览器

最新推荐文章于 2021-02-04 04:48:39 发布

weixin_34344403

最新推荐文章于 2021-02-04 04:48:39 发布

阅读量551

点赞数 1

CC 4.0 BY-SA版权

文章标签： python 爬虫

原文链接：http://blog.51cto.com/lsfandlinux/2060824

本文介绍了在进行网页爬取时如何通过设置User-Agent来绕过网站的反爬虫机制，提供了两种添加头部信息的方法，并解释了其工作原理。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

为什么要添加头部信息，因为有时候有些网页会有反爬虫的设置，导致无法获取正常的网页，在这里，在代码的头部添加一个headers信息，模拟成浏览器去访问网页。

没有添加头部信息的代码

import urllib2
url = "https://blog.51cto.com/lsfandlinux/2046467"
file = urllib2.urlopen(url)
html = file.read()
print html

接下来添加头部信息，首先在浏览器打开百度一下，然后检查网页的头部信息，找到User-Agent，这就是我们用来模拟浏览器要用到的信息，把他复制下来。
在python获取网页的代码中添加头信息模拟浏览器

然后在代码里面添加头部信息的变量存储对应的headers信息，定义的格式为（“User-Agent”，具体信息）。
在代码中添加头部信息的方法有两种：
方法1：使用build_opener()来添加

import urllib2
url = "https://blog.51cto.com/lsfandlinux/2046467"
headers = ("User-Agent","Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36")
opener = urllib2.build_opener()
opener.addheaders = [headers]
file = opener.open(url)
html = file.read()
print html

我们利用opener.open(url)就是打开网页，这个opener就是具有头部信息的操作了。

方法2：利用add_header()来添加

import urllib2
url = "https://blog.51cto.com/lsfandlinux/2046467"
req = urllib2.Request(url)
req.add_header("User-Agent","Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36")
file = urllib2.urlopen(req)
html = file.read()
print html

该方法是通过urllib2里的Request来创建一个Request对象赋值给变量req，然后使用add_header添加头部信息。

转载于:https://blog.51cto.com/lsfandlinux/2060824