【Python】使用urllib下载网络数据集

转载于 2021-04-06 19:47:01 发布 · 591 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：https://www.cnblogs.com/leokale-zz/p/11191906.html

文章标签：

#python

Python基础同时被 2 个专栏收录

13 篇文章

订阅专栏

Python使用技巧

3 篇文章

订阅专栏

这段代码展示了如何利用Python的urllib和tarfile库从指定URL下载CIFAR-10数据集的二进制版本，并将其解压缩到指定目录。首先检查目标目录是否存在，如果不存在则创建。接着，如果没有已存在的文件，则开始下载，同时显示下载进度。下载完成后，解压缩文件。最后，确认解压操作完成。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

 # -*- coding:utf-8 -*-

import os
import sys
import tarfile
import urllib


def download_from_url(url,dir):
    file_name = url.split('/')[-1]
    file_path = os.path.join(dir,file_name)
    
    def print_progress(count, block_size, total_size):
        sys.stdout.write('\r>> Downloading %s %.1f%%' % (file_name, float(count * block_size) / float(total_size) * 100.0))
        sys.stdout.flush()
    
    if not os.path.exists(dir):
        os.makedirs(dir)
        
    if not os.path.exists(file_path):
        print('Start downloading...')
        urllib.request.urlretrieve(url,file_path,print_progress)
    else:
        print('File already exists.')
    return file_path

def extract_file(file_path,dest_path):
    if os.path.exists(file_path):
        file = tarfile.open(file_path)
        file.extractall(dest_path)
        file.close()
        print('Extraction has been completed.')
        
if __name__ == '__main__':
    FILE_URL = 'http://www.cs.toronto.edu/~kriz/cifar-10-binary.tar.gz'
    FILE_DIR = os.path.join('datasets','CIFAR10')
    
    loaded_file_path = download_from_url(FILE_URL,FILE_DIR)
    extract_file(loaded_file_path,FILE_DIR)