python爬虫模拟浏览器的两种方法

最新推荐文章于 2024-02-22 17:40:44 发布

原创

最新推荐文章于 2024-02-22 17:40:44 发布 · 1.4w 阅读

15 ·

CC 4.0 BY-SA版权

本文介绍了Python爬虫在遇到403错误时如何模拟浏览器进行网页抓取。通过查看浏览器的User-Agent，使用`build_opener()`或`add_header()`方法修改HTTP报头，成功规避网站的防爬机制。文中详细讲解了两种方法的实现步骤，并给出了代码示例。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

爬虫爬取网站出现403，因为站点做了防爬虫的设置

一、Herders 属性

爬取优快云博客

import urllib.request
url = "http://blog.youkuaiyun.com/hurmishine/article/details/71708030"file = urllib.request.urlopen(url)

爬取结果

urllib.error.HTTPError: HTTP Error 403: Forbidden

这就说明优快云做了一些设置，来防止别人恶意爬取信息

所以接下来，我们需要让爬虫模拟成浏览器
任意打开一个网页，比如打开百度,然后按F12，此时会出现一个窗口，我们切换到Network标签页，然后点击刷新网站，选中弹出框左侧的“www.baidu.com”，即下图所示：
访问百度
往下拖动我们会看到“User-Agent”字样的一串信息，没错这就是我们想要的东西。我们将其复制下来。
此时我们得到的信息是：”Mozilla/5.0 (Windows NT 10.0; WOW64