CNN代码分析之data package及 data provider

最近看Alex 的 CNN代码[1],原代码中提供了cifar数据库的训练和测试过程。但在想使用其他数据库训练测试的时候，就必须自己写data package 和 data provider文件了。对于内部具体实现，这里不做过多讲解，只需了解具体的输入输出情况即可。因为data package只是针对data provider的一个黑盒程序，而data provider也只需提供convnet.py使用的数据即可。因此了解两个程序各自的输出格式就显得尤为重要了。

首先分析data package。根据cuda-convnet代码的mannual中internal data layout中要求程序输出的是两类pickle文件。一个是metadata，是一个词典，主要的域包括mean  和 imagesize以及labelname等等；而另一类就是databatches，主要的域包括data 和 lable，另外也可以把filename等内容写进去。这里主要介绍data和label域的数据组织方式。根据代码的文档，label必须从零开始，并且保存成single-precision的list。而data数据则需要保存成一个二维数组，且数据的存储方式为data dimensionality*number of cases。（其实具体的存储方式可以改变，只要和dataprovider中的get-next-batch兼容就可以了，但鉴于get-next-batch通常用到labeledMemoryDataProvider类的实现，因此在为了节省IO时间的时候，需要考虑兼容其数据结构，所以最好还是按上述默认情况实现）

最后分析下get_next_batch返回的[datadic['data'], datadic['labels']]的具体的数据结构是什么。分析class CIFARDataProvider(LabeledMemoryDataProvider)：

    def get_next_batch(self):
        epoch, batchnum, datadic