imagenet 数据集准备

http://blog.youkuaiyun.com/drdeep/article/details/50835974

1.数据集折腾

需要将训练集解压，

ILSVRC2012_img_train.tar解压后是1000个tar文件，每个tar文件表示1000个分类中的一个类。需要对这1000个tar文件再次解压。在train目录下执行unzip.sh文件，最后得到1000个文件夹。每个文件夹中是该类的图片。ILSVRC2012_img_val.tar解压后的文件夹包含了所有的验证集图片。

unzip.sh

dir=./

for x in `ls *.tar`

do

filename=`basename $x .tar`

mkdir $filename

tar -xvf $x -C ./$filename

done 

2.下载标签文件

在caffe目录下执行命令 ./data/ilsvrc12/get_ilsvrc_aux.sh，下载一些训练需要的附加文件。其中train.txt是训练数据集的ground truth文件，val.txt是验证数据集的ground truth文件。需要这两个文件在生成lmdb数据库时提供label信息。

3.转换成lmdb文件

所有的图片都归一化为256*256的大小，对于一个长方形图片，首先将短边变成256的长度，然后剪裁图片中心的256*256部分。

将examples/imagenet/create_imagenet.sh文件中，将为RESIZE=false更改为RESIZE=true，将所有图片归一化为256*256的大小。注意需将文件中的训练数据集和测试数据集的地址更改为服务器中实际存放的地址，即文件中设置

TRAIN_DATA_ROOT=/dataset/ imagenet/train/

VAL_DATA_ROOT=/dataset/imagenet/val/

执行该文件后生成训练数据和验证数据的lmdb数据库：ilsvrc12_train_lmdb 、ilsvrc12_val_lmdb。

4.得到均值文件

 训练集图片的平均值存储于data/ilsvrc12/imagenet_mean.binaryproto。如果没有该文件，执行

./examples/imagenet/make_imagenet_mean.sh可以生成该文件。