urllib.request.urlretrieve()函数

最新推荐文章于 2025-03-31 17:57:03 发布

海爷爷

最新推荐文章于 2025-03-31 17:57:03 发布

阅读量6.2k

点赞数 1

分类专栏： python

本文链接：https://blog.youkuaiyun.com/zh54b5n64vn64654/article/details/89079057

版权

python 专栏收录该内容

23 篇文章

订阅专栏

urllib.request.urlretrieve()函数用于从URL复制网络对象到本地文件，返回一个包含本地文件名和header信息的元组。可以指定保存路径，提供回调函数跟踪下载进度，还可用于POST数据。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

描述
urllib.request.urlretrieve(url, filename=None, reporthook=None, data=None)【urllib.urlretrieve（python2中）】

函数说明

将URL表示的网络对象复制到本地文件。如果URL指向本地文件，则对象将不会被复制，除非提供文件名。返回一个元组()(filename，header)，其中filename是可以找到对象的本地文件名，header是urlopen()返回的对象的info()方法(用于远程对象)。
第二个参数(如果存在)指定要复制到的文件位置(如果没有，该位置将是一个生成名称的tempfile)。第三个参数，如果存在，则是一个回调函数，它将在建立网络连接时调用一次，并且在此后每个块读取后调用一次。这个回调函数将传递三个参数;到目前为止传输的块计数，以字节为单位的块大小，以及文件的总大小。第三个参数可能是-1，在旧的FTP服务器上，它不返回文件大小以响应检索请求。

参数说明

url：外部或者本地url
filename：指定了保存到本地的路径（如果未指定该参数，urllib会生成一个临时文件来保存数据）；

reporthook：是一个回调函数，当连接上服务器、以及相应的数据块传输完毕的时候会触发该回调。我们可以利用这个回调函数来显示当前的下载进度。

data：指post到服务器的数据。该方法返回一个包含两个元素的元组(filename, headers)，filename表示保存到本地的路径，header表示服务器的响应头。

import urllib.request
from lxml import etree
import requests
def Schedule(blocknum,blocksize,totalsize):
    '''''
    blocknum:已经下载的数据块
    blocksize:数据块的大小
    totalsize:远程文件的大小
    '''
    per = 100.0 * blocknum * blocksize / totalsize
    if per > 100 :
        per = 100
    print('当前下载进度：%d'%per)

user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
headers={'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'}
r = requests.get('http://www.ivsky.com/tupian/ziranfengguang/',headers=headers)
#使用lxml解析网页
html = etree.HTML(r.text)

img_urls = html.xpath('.//img/@src')#先找到所有的img
i=0
print(img_urls)
for img_url in img_urls:
    urllib.request.urlretrieve('http:'+img_url,'img'+str(i)+'.jpg',Schedule)
    i+=1

import os
from six.moves import urllib
import sys

DATA_URL = 'http://www.python.org/ftp/python/2.7.5/Python-2.7.5.tar.bz2'
filename = DATA_URL.split('/')[-1]

def _progress(block_num, block_size, total_size):
    '''回调函数
       @block_num: 已经下载的数据块
       @block_size: 数据块的大小
       @total_size: 远程文件的大小
    '''
    sys.stdout.write('\r>> Downloading %s %.1f%%' % (filename,
                     float(block_num * block_size) / float(total_size) * 100.0))
    sys.stdout.flush()

filepath, _ = urllib.request.urlretrieve(DATA_URL, filename, _progress)
print()

例子中的sys.stdout.write和print差不多是输出的意思，sys.stdout.flush()函数的作用是刷新输出