图片存储为cifar的Python数据格式

最新推荐文章于 2021-08-18 09:36:49 发布

z轴

最新推荐文章于 2021-08-18 09:36:49 发布

阅读量6.7k

点赞数 2

CC 4.0 BY-SA版权

分类专栏：机器学习文章标签： python 图片存储字典数据

本文链接：https://blog.youkuaiyun.com/zengxyuyu/article/details/53240463

机器学习专栏收录该内容

3 篇文章

订阅专栏

本文介绍如何使用Python将自定义图片转换成类似于CIFAR数据集的格式，包括所需库的安装与使用，以及具体实现步骤。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

上次我们把用Python实现了cifar数据的可视化,看到了这个cifar数据到底长啥样,cifar数据可视化的链接:
http://blog.youkuaiyun.com/zengxyuyu/article/details/53232533
我们用tensorflow可能是想训练自己的图片或者其他数据集,不止局限于cifar数据集,我们应该怎样把图片转成cifar数据集那种二进制并用字典的数据结构存储的数据集呢?我们暂时用上篇博客从cifar数据集生成的图片输出作为这篇博客图片输入,图片数量100,是RGB彩色通道图像.
1.总览
我们这次用到的Python库或模块有(要先装上这些库哦)
(1) pillow:图像处理库,用来读个图像
(2) matplotlib:把从pillow读到的图像转化为数组
(3) numpy:处理一下数组,比如维度,合并数组
(4) pickle:pickle模块实现了基本的数据序列和反序列化。通过pickle模块的序列化操作我们能够将程序中运行的对象信息保存到文件中去，永久存储；通过pickle模块的反序列化操作，我们能够从文件中创建上一次程序保存的对象。

pickle.dump(obj, file, [,protocol])
　　注解：将对象obj保存到文件file中去。
pickle.load(file)
　　注解：从file中读取一个字符串，并将它重构为原来的python对象。
　　
2.步骤:
　　(1) 将图片读出来
　　(2)将图片转成数组
　　(3) 处理一下数组,将所有图片合并为一个数组
　　(4)用pickle序列化,存入文本
　　
3.代码如下:

# -*- coding:utf-8 -*-
import pickle,pprint
from PIL import Image
import numpy as np
import os
import matplotlib.image as plimg
class DictSave(object):
    def __init__(self,filenames):
        self.filenames = filenames
        self.arr = []
        self.all_arr = []
        print
    def image_input(self,filenames):
        for filename in  filenames:
            self.arr = self.read_file(filename)
            if self.all_arr==[]:
                self.all_arr = self.arr
            else:
                self.all_arr = np.concatenate((self.all_arr,self.arr))
    def read_file(self,filename):
        im = Image.open(filename)#打开一个图像
        # 将图像的RGB分离
        r, g, b = im.split()
        # 将PILLOW图像转成数组
        r_arr = plimg.pil_to_array(r)
        g_arr = plimg.pil_to_array(g)
        b_arr = plimg.pil_to_array(b)
        # 将32*32二位数组转成1024的一维数组
        r_arr1 = r_arr.reshape(1024)
        g_arr1 = g_arr.reshape(1024)
        b_arr1 = b_arr.reshape(1024)
        # 3个一维数组合并成一个一维数组,大小为3072
        arr = np.concatenate((r_arr1, g_arr1, b_arr1))
        return arr
    def pickle_save(self,arr):
        print "正在存储"
        # 构造字典,所有的图像诗句都在arr数组里,我这里是个以为数组,目前并没有存label
        contact = {'data': arr}
        f = open('contact', 'w')
        pickle.dump(contact, f)#把字典存到文本中去
        f.close()
        print "存储完毕"
if __name__ == "__main__":
    filenames = [os.path.join("images/", "img%d" % i) for i in xrange(0, 100)] #100个图像
    ds = DictSave(filenames)
    ds.image_input(ds.filenames)
    ds.pickle_save(ds.all_arr)
    print "最终数组的大小:"+str(ds.all_arr.shape)