如何给urllib.request.urlretrieve 添加UserAgent?

最新推荐文章于 2023-06-10 18:59:23 发布

原创最新推荐文章于 2023-06-10 18:59:23 发布 · 5.4k 阅读

19 ·

CC 4.0 BY-SA版权

文章标签：

#爬虫 #urllib.request.urlretrieve #添加UserAgent

爬虫专栏收录该内容

1 篇文章

订阅专栏

本文介绍了一种为Python的urllib.request.urlretrieve方法添加UserAgent头部信息的技巧，通过构建自定义opener并安装到urllib中，实现对特定网站的资源下载，避免因UserAgent缺失导致的请求失败。

使用urllib.request.urlretrieve，有时需要添加UserAgent,这里提供一种变通的方法：

opener = urllib.request.build_opener()
opener.addheaders = [('User-agent', 'Opera/9.80 (Android 2.3.4; Linux; Opera Mobi/build-1107180945; U; en-GB) Presto/2.8.149 Version/11.10')]
urllib.request.install_opener(opener)
urllib.request.urlretrieve(URL, path)   #path为本地保存路径

使用这个方法，成功给urllib.request.urlretrieve添加headers。

参考文章：https://stackoverflow.com/questions/2364593/urlretrieve-and-user-agent-python