Imagenet数据集处理

最新推荐文章于 2025-04-21 15:38:01 发布

koberonaldo24

最新推荐文章于 2025-04-21 15:38:01 发布

阅读量6.1k

点赞数 6

分类专栏： pytorch 文章标签： pytorch Imagenet 神经网络

本文链接：https://blog.youkuaiyun.com/koberonaldo24/article/details/100891660

版权

pytorch 专栏收录该内容

5 篇文章

订阅专栏

本文详细介绍Imagenet数据集的背景及其处理方法，包括数据集的下载、解压及图片分类，适合PyTorch学习者参考。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

前言

在学习pytorch时发现需要对imagenet数据集进行处理，搜了很久才找到处理方法，在这里记录一下。

Imagenet数据集简介

ImageNet图像数据集始于2009年，当时李飞飞教授等在CVPR2009上发表了一篇名为《ImageNet: A Large-Scale Hierarchical Image Database》的论文，之后就是基于ImageNet数据集的7届ImageNet挑战赛(2010年开始)，2017年后，ImageNet由Kaggle(Kaggle公司是由联合创始人兼首席执行官Anthony Goldbloom 2010年在墨尔本创立的，主要是为开发商和数据科学家提供举办机器学习竞赛、托管数据库、编写和分享代码的平台)继续维护。

WordNet是一个由普林斯顿大学认识科学实验室在心理学教授乔治·A·米勒的指导下建立和维护的英语字典。开发工作从1985年开始。由于它包含了语义信息，所以有别于通常意义上的字典。WordNet根据词条的意义将它们分组，每一个具有相同意义的字条组称为一个synset(同义词集合)。WordNet为每一个synset提供了简短，概要的定义，并记录不同synset之间的语义关系。WordNet中的每个有意义的概念(concept)(可能由多个单词或单词短语描述)被称为"同义词集(synonym set)“或"synset”。

ImageNet是根据WordNet层次结构组织的图像数据集。在ImageNet中，目标是为了说明每个synset提供平均1000幅图像。每个concept图像都是质量控制和人为标注的(quality-controlled and human-annotated)。在完成之后，希望ImageNet能够为WordNet层次结构中的大多数concept提供数千万个干净整理的图像(cleanly sorted images)。
————————————————
版权声明：本文为优快云博主「fengbingchun」的原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接及本声明。
原文链接： https://blog.youkuaiyun.com/fengbingchun/article/details/88606621

Imagenet处理

本文处理的是2012年ILSVRC分类数据集，其中训练集为1281167张图片+标签共1000类，验证集为50000张图片。

下载数据集，如从官网下载 http://image-net.org/download-images
解压训练集数据：

mkdir train && mv ILSVRC2012_img_train.tar train/ && cd train
tar -xvf ILSVRC2012_img_train.tar && rm -f ILSVRC2012_img_train.tar
find . -name "*.tar" | while read NAME ; do mkdir -p "${NAME%.tar}"; tar -xvf "${NAME}" -C "${NAME%.tar}"; rm -f "${NAME}"; done
cd ..

解压验证集数据并移动图片至子文件夹：

mkdir val && mv ILSVRC2012_img_val.tar val/ && cd val && tar -xvf ILSVRC2012_img_val.tar
wget -qO- https://raw.githubusercontent.com/soumith/imagenetloader.torch/master/valprep.sh | bash