python爬虫下载cityscapes数据集

最新推荐文章于 2025-04-07 22:59:59 发布

Alex-Leung

最新推荐文章于 2025-04-07 22:59:59 发布

阅读量2k

点赞数 6

分类专栏： Python 深度学习文章标签： cityscapes python 深度学习

本文链接：https://blog.youkuaiyun.com/a2824256/article/details/118182645

版权

Python 同时被 2 个专栏收录

58 篇文章

订阅专栏

深度学习

29 篇文章

订阅专栏

本文提供了一个Python爬虫脚本，用于在Linux环境下下载Cityscapes数据集，解决了Cityscapes不支持迅雷下载的问题。脚本包含进度条功能，通过获取Cookies中的PHPSESSID来验证请求头。用户需要从浏览器中获取URL和PHPSESSID，然后运行脚本来下载leftImg8bit_sequence_trainvaltest.zip这个大型数据集。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

cityscapes数据集下载地址

https://www.cityscapes-dataset.com/downloads/

解决的问题

cityscapes不支持迅雷下载，因为在下载的时候做了请求头验证，该脚本方便linux环境下用户使用。

爬虫脚本

该脚本基于该博客的代码进行改进，添加进度条方便观察进度。

import requests # pip install requests 
import contextlib
import progressbar # pip install progressbar2


def download(url, session_id, save_path):
    cookies = {
        'PHPSESSID': session_id
    }
    headers = {
        'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
        'Accept-Encoding': 'gzip, deflate, br',
        'Accept-Language': 'en-US,en;q=0.5',
        'Connection': 'keep-alive',
        'Cookie': f'PHPSESSID={session_id}',
        'DNT': '1',
        'Host': 'www.cityscapes-dataset.com',
        'Referer': 'https://www.cityscapes-dataset.com/downloads/',
        'Upgrade-Insecure-Request': '1',
        'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_5) AppleWebKit/537.36 (KHTML, like Gecko) Safari/537.36'
    }
    res = requests.get(url, headers=headers, cookies=cookies, stream=True)
    with contextlib.closing(res) as r:
        accepts = 0
        bar = progressbar.ProgressBar(maxval=int(r.headers['Content-Length']))
        bar.start()
        with open(save_path, "wb") as f:
            for chunk in res.iter_content(chunk_size=4096):
                if chunk:
                    f.write(chunk)
                    accepts += len(chunk)
                    bar.update(accepts)

# 以下参数如何获取后面有说
download(
    url='https://www.cityscapes-dataset.com/file-handling/?packageID=14',
    session_id='your_PHPSESSID',
    save_path='leftImg8bit_sequence_trainvaltest.zip'
)

进度条效果：

数据集下载

目标是下载leftImg8bit_sequence_trainvaltest.zip这个300多G的数据集，save_path填写对应保存路径+文件名，以下是用Chrome浏览器的操作流程。

获取url

右键下载链接，点击检查打开控制台
查看url
复制粘贴到代码上

获取Cookies里的PHPSESSID

在控制台点击Network，如果下面没有信息就刷新一下页面，右键Name勾选显示Domain（域名），找到来自www.cityscapes-dataset.com的请求，点击Name那一列的请求。
我这里打开的是download的页面，点击它，查看Cookies，找到PHPSESSID，把对应的Value填写到代码里。
运行代码