urllib.request.urlretrieve()用于下载制定url内容到本地

最新推荐文章于 2023-10-12 17:07:33 发布

转载最新推荐文章于 2023-10-12 17:07:33 发布 · 399 阅读

本文介绍Python中urllib.urlretrieve函数的使用方法，包括参数详解及如何通过回调函数显示下载进度。提供了抓取百度首页并保存为本地文件的示例代码。

函数：urllib.urlretrieve(url[, filename[, reporthook[, data]]])
参数说明：
url：外部或者本地url
filename：指定了保存到本地的路径（如果未指定该参数，urllib会生成一个临时文件来保存数据）；
reporthook：是一个回调函数，当连接上服务器、以及相应的数据块传输完毕的时候会触发该回调。我们可以利用这个回调函数来显示当前的下载进度。
data：指post到服务器的数据。该方法返回一个包含两个元素的元组(filename, headers)，filename表示保存到本地的路径，header表示服务器的响应头。

抓取百度首页进行保存的例子如下：

from urllib import request
def fun(blocknum,blocksize,totalsize):
“”"
blocknum:当前的块编号
blocksize:每次传输的块大小
totalsize:网页文件总大小
“”"
percent = blocknumblocksize/totalsize
if percent > 1.0:
percent = 1.0
percent = percent100
print(“download : %.2f%%” %(percent))
url = “http://www.baidu.com”
path = r"C:\Users\Administrator\Desktop\download\sina.html"

#原文：https://blog.youkuaiyun.com/qq_21856335/article/details/80947690