【爬虫】使用urllib下的 urlretrieve 下载图片时报urllib.error.HTTPError: HTTP Error 403: Forbidden

最新推荐文章于 2024-07-02 12:36:15 发布

原创最新推荐文章于 2024-07-02 12:36:15 发布 · 1.1k 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#爬虫 #http #python

遇到的问题专栏收录该内容

27 篇文章

订阅专栏

文章介绍了在使用Python的urllib库下载图片时遇到HTTPError403:Forbidden错误的解决方法，通过伪装User-Agent和使用IP代理来避免被服务器禁止。具体步骤包括构建不同的User-Agent列表，创建ProxyHandler以随机选择IP代理，最后安装opener并下载图片。

【爬虫】使用urllib下的 urlretrieve 下载图片时报urllib.error.HTTPError: HTTP Error 403: Forbidden

文章目录

【爬虫】使用urllib下的 urlretrieve 下载图片时报urllib.error.HTTPError: HTTP Error 403: Forbidden
解决办法: 对请求进行伪装
总结

解决办法: 对请求进行伪装

import urllib.request
import random

url = 'http://pic.monidai.com/img/202210052042294253562s.jpg'
filename = './1.jpg'
# 1. 构建请求头列表
ua_list = ['Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:102.0) Gecko/20100101 Firefox/102.0',
           'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 Safari/537.36',
           'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.5060.114 Safari/537.36 Edg/103.0.1264.62',
           'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:98.0) Gecko/20100101 Firefox/98.0',
           'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.81 Safari/537.36 SE 2.X MetaSr 1.0'
           ]

# 2. 构建IP代理池
IP_list = [{'http': 'http://123.123.0.246'},

           {'http': 'http://123.36.207.153'},

           {'http': 'http://123.230.210.218'},

           {'http': 'http://123.237.245.38'}]

# 3.创建handler对象
handler = urllib.request.ProxyHandler(random.choice(IP_list))

# 4. 创建opener对象
opener = urllib.request.build_opener(handler)

# 5. opener对象 添加请求头信息
opener.addheaders = [('User-Agent', random.choice(ua_list))]

# 6. opener设置为全局安装
urllib.request.install_opener(opener)

# 7.接着去下载就发现不会报 urllib.error.HTTPError: HTTP Error 403: Forbidden
urllib.request.urlretrieve(url=url, filename=filename)```