许久未见啦,这次再次写作我已经是一名研究生了,继续在深度学习的知识领域探索~
书接上回,这次期末作业用到kaggle平台,发现自己还有很多不知道的内容啊,这次主要记录下在这上面如何下载比赛的数据集并使用。
一、下载
因为我想直接在notebook中运行代码训练,因此不用下载数据到本地电脑上。但下载kaggle的数据需要自己账户的APItoken,即kaggle.json文件,放在~/.kaggle/下面,这还需要另外在anaconda中下载kaggle,并将jiso文件放在.kaggle目录下,不过我并未找到该目录,但从网上看到一种新方法,也十分便捷好用
import os
os.environ['KAGGLE_USERNAME'] = "*****" # username from the json file
os.environ['KAGGLE_KEY'] = "*****" # key from the json file
!kaggle competitions download -c *****
其中username和key需要打开json文件查看,该文件可在visual studio中打开。
json文件的下载:点击kaggle右上角的头像->settings->找到API->点击Create New API Token,即可下载到本地。
二、使用
因为下载后的数据以压缩包的形式出现,需要解压。下面包括怎么找到压缩包的正确路径。
import os
# 打印当前工作目录
print(os.getcwd())
# 如果需要,改变工作目录
# os.chdir('/desired/path')
#如果目录不存在,创建一个
!mkdir -p ../output/kaggle/working/
import zipfile
#zipfile解压
z = zipfile.ZipFile('***.zip', 'r')
z.extractall(path=r"./")
z.close()
下载后如下:
参考文章:
如何在google notebook中用kaggle下载数据集 - 知乎 (zhihu.com)