tensorflow-datasets load 数据集失败

关注

原创 2022-07-19 15:39:27 1.1k 阅读 AI 写同款· GEO 优化 ›

关于使用tfds.load()函数加载tensorflow_datasets数据集由于网络无法加载的问题当我们想要在本地运行一下tensorflow的一些demo时首先要做的就是加载数据集的问题，但是由于国内网络的问题加上tensorflow_datasets的数据集一般都是几百兆甚至一两个G，所以很容易劝退我等小白，既然网络直接加载数据集几乎不可能成功，那么一个比较容易想到的解决办法便是提前将数据集下载到本地，然后从本地加载tensorflow_datasets的数据集。以tensorflow中的transformer葡萄牙语-英语翻译为例，我们需要加载的数据集为： ted_hrlr_translate/ 阅读详情

import tensorflow_datasets as tfds

examples, metadata = tfds.load('ag_news_subset', with_info=True,
                               as_supervised=True)

会出以下Error

requests.exceptions.SSLError: HTTPSConnectionPool(host='drive.google.com', port=443): Max retries exceeded with url: /uc?export=download&id=0Bz8a_Dbh9QhbUDNpeUdjb0wxRms&confirm=t (Caused by SSLError(SSLCertVerificationError(1, '[SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get local issuer certificate (_ssl.c:1091)')))

Google搜索会发现很多改Proxy的方法，这里提供一种新方法。

看上面错误主要是SSL验证出错，参考这里通过配置关闭了SSL验证。

dl_config = tfds.download.DownloadConfig(verify_ssl=False)  # =_= request error!
examples, metadata = tfds.load('ag_news_subset', with_info=True,
                               as_supervised=True,
                               download_and_prepare_kwargs={'download_config': dl_config})