生产 tensorflow 训练使用的 .pkl 文件

最新推荐文章于 2022-04-22 10:18:05 发布

原创

最新推荐文章于 2022-04-22 10:18:05 发布 · 7.4k 阅读

9 ·

CC 4.0 BY-SA版权

本文详细介绍了如何在生产环境中准备TensorFlow的训练数据，重点是将数据转化为易于处理的.pkl文件格式。首先，讲解了数据预处理的步骤，包括数据清洗、标准化和归一化。接着，阐述了使用Python的pickle模块将处理后的数据序列化为.pkl文件的过程，以确保数据可以在后续的模型训练中快速加载。最后，讨论了如何优化数据存储和加载速度，以提高训练效率。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import PIL.Image as Image
from scipy.misc import imsave
import numpy as np
import random
import pickle
import os

#函数调用：生成数据集
def initPKL(imgSet_shuffle, train_or_test):
    imgSet = []
    labels = []
    label_names = []

    if train_or_test == 'train':
        set_name = 'trainSet.pkl'
    else:
        set_name =