Tensorflow实战之下载MNIST数据，自动分成train， validation和test三个数据集

最新推荐文章于 2023-01-13 12:38:11 发布
原创 最新推荐文章于 2023-01-13 12:38:11 发布 · 1.9k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本书章节介绍如何使用TensorFlow自动下载并划分MNIST数据集为训练、验证和测试集。通过Python代码演示，展示了数据集的具体大小及首个训练样本的数据与标签，为深度学习模型训练提供数据准备。
部署运行你感兴趣的模型镜像

TensorFlow 实战Google深度学习框架 第2版 ,郑泽宇之P96。下载MNIST数据，自动分成train， validation和test三个数据集，源码如下：

#!/usr/bin/env python
import os
from tensorflow.examples.tutorials.mnist import input_data
os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2'

mnist = input_data.read_data_sets("MNIST_data", one_hot=True)

print("Training data size:\t", mnist.train.num_examples)
print("Validating data size:\t", mnist.validation.num_examples)
print("Testing data size:\t", mnist.test.num_examples)
print("Example training data:\t", mnist.train.images[0])
print("Example training data label:\t", mnist.train.labels[0])

运行结果如下：

"C:\Program Files\Python\Python37\python.exe" "D:/Pycharm Projects/MLDemo/MLDemo.py"
Extracting MNIST_data\train-labels-idx1-ubyte.gz
Extracting MNIST_data\t10k-images-idx3-ubyte.gz
Extracting MNIST_data\t10k-labels-idx1-ubyte.gz
Training data size:	 55000
Validating data size:	 5000
Testing data size:	 10000
Example training data:	 [0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.3803922  0.37647063 0.3019608
 0.46274513 0.2392157  0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.3529412
 0.5411765  0.9215687  0.9215687  0.9215687  0.9215687  0.9215687
 0.9215687  0.9843138  0.9843138  0.9725491  0.9960785  0.9607844
 0.9215687  0.74509805 0.08235294 0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.54901963 0.9843138  0.9960785  0.9960785
 0.9960785  0.9960785  0.9960785  0.9960785  0.9960785  0.9960785
 0.9960785  0.9960785  0.9960785  0.9960785  0.9960785  0.9960785
 0.7411765  0.09019608 0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.8862746  0.9960785  0.81568635 0.7803922  0.7803922  0.7803922
 0.7803922  0.54509807 0.2392157  0.2392157  0.2392157  0.2392157
 0.2392157  0.5019608  0.8705883  0.9960785  0.9960785  0.7411765
 0.08235294 0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.14901961 0.32156864
 0.0509804  0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.13333334 0.8352942  0.9960785  0.9960785  0.45098042 0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.32941177
 0.9960785  0.9960785  0.9176471  0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.32941177 0.9960785  0.9960785
 0.9176471  0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.4156863  0.6156863  0.9960785  0.9960785  0.95294124 0.20000002
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.09803922
 0.45882356 0.8941177  0.8941177  0.8941177  0.9921569  0.9960785
 0.9960785  0.9960785  0.9960785  0.94117653 0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.26666668 0.4666667  0.86274517 0.9960785  0.9960785
 0.9960785  0.9960785  0.9960785  0.9960785  0.9960785  0.9960785
 0.9960785  0.5568628  0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.14509805 0.73333335 0.9921569
 0.9960785  0.9960785  0.9960785  0.8745099  0.8078432  0.8078432
 0.29411766 0.26666668 0.8431373  0.9960785  0.9960785  0.45882356
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.4431373  0.8588236  0.9960785  0.9490197  0.89019614 0.45098042
 0.34901962 0.12156864 0.         0.         0.         0.
 0.7843138  0.9960785  0.9450981  0.16078432 0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.6627451  0.9960785
 0.6901961  0.24313727 0.         0.         0.         0.
 0.         0.         0.         0.18823531 0.9058824  0.9960785
 0.9176471  0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.07058824 0.48627454 0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.32941177 0.9960785  0.9960785  0.6509804  0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.54509807
 0.9960785  0.9333334  0.22352943 0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.8235295  0.9803922  0.9960785  0.65882355
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.9490197  0.9960785  0.93725497 0.22352943 0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.34901962 0.9843138  0.9450981
 0.3372549  0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.01960784 0.8078432  0.96470594 0.6156863  0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.01568628 0.45882356
 0.27058825 0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.         0.         0.
 0.         0.         0.         0.        ]
Example training data label:	 [0. 0. 0. 0. 0. 0. 0. 1. 0. 0.]

Process finished with exit code 0

 

您可能感兴趣的与本文相关的镜像

Python3.11

Python3.11

Conda
Python

Python 是一种高级、解释型、通用的编程语言，以其简洁易读的语法而闻名，适用于广泛的应用，包括Web开发、数据分析、人工智能和自动化脚本

ctrigger
关注
ultralytics yolov8 实例分割 训练自有数据集
weixin_42357472的博客
11-22 589
参考： https://docs.ultralytics.com/datasets/segment/coco/ http://www.bryh.cn/a/613333.html1）数据集下载： 参考：https://universe.roboflow.com/naumov-igor-segmentation/car-segmetarion 下载的是coco格式，需要转换 2）coco2yolo txt格式转换 参考：https://github.com/ultralytics/JSON2YOLO/blob
CMU SDK-mosi多模态数据使用笔记（一）
Bourne___1的博客
03-07 1万+
CMU多模态数据 1 下载数据 在数据及中包含了三个部分：highlevel，raw以及labels。highlevel是已经经过处理的特征（利用facet以及openSMILE等工具进行抽取），raw是原始特征。由于目前SDK并不能够自动检测是否已经下载过数据集，如果当你有下载了然后要再从晚上downloading的话，会报错，因此需要加入一个try…except。代码片段如下 // An highlighted block from mmsdk import mmdatasdk as md DATAS.
TensorFlow入门-数据集MNIST的下载及训练
ll523587181的博客
03-21 2818
折腾了很久caffe, 无论是ubuntu还是windows都没下载成功 = = 算了算了转战TensorFlow。第一次根据官网提供的python3地址下载时，报错说tensorflow-0.5.0-cp27-none-linux_x86_64.whl is not a supported wheel on this platform.后来发现是url地址问题，我用的python3.5，地址应该...
怎么划分torchvision.datasets.FashionMNIST训练集和测试集？
weixin_42575505的博客
01-13 446
可以使用torch.utils.data.random_split()函数将torchvision.datasets.FashionMNIST数据集划分为训练集和测试集。该函数接受两个参数：要划分的数据集和比例列表，其中训练集所占比例在前，测试集所占比例在后。例如，将FashionMNIST数据集的80%作为训练集，20%作为测试集可以这样做： from torch.utils.data impo...
pytorch实现mnist数据集分类
abc1234598的博客
03-20 2650
1.数据准备   pytorch框架内置的torchvision中的datasets类中有一些常见的数据集。本文采用随机梯度下降的算法来训练数据，数据集构造如下所示： # 将数据集转换成张量并且归一化 transform = transforms.Compose({ transforms.ToTensor(), transforms.Normalize((0.1307,), (0.3081,))} ) # 下载数据集，download= True表示从网络下载，本文已经下载好了这
Pytorch：train、test、val数据集划分
weixin_62637793的博客
11-19 7401
（1）如果只有train和test两个数据集，会给一个train=True代表划分训练集。如果设定train=Flase得到test的划分。 # 加载的代码操作，划分数据集 train_loader=torch.utils.data.DataLoader( datasets.MNIST('../data', train=True, download=True, transform=transforms.Compose([
mnist数据集，已处理成train test文件
03-10
mnist数据集，已处理成train test文件，文件夹分好了，拿到可以直接进行训练或者测试，方便读取
tensorflow实现残差网络方式(mnist数据集)
09-16
model.fit(mnist.train.images, mnist.train.labels, epochs=10, validation_data=(mnist.test.images, mnist.test.labels)) ``` 通过这个过程，我们就用TensorFlow实现了一个简化的ResNet模型，适用于MNIST数据集...
使用TensorFlow直接获取处理MNIST数据方式
09-17
# 加载MNIST数据集，如果本地不存在，TensorFlow将自动从网上下载 mnist = input_data.read_data_sets("/tensorflow_google") ``` 在加载数据后，你可以访问`mnist`对象的属性来获取训练、验证和测试数据的信息： ...
tensorflow入门教程之mnist识别手写数字.rar
12-09
TensorFlow库提供了一个方便的函数`tf.keras.datasets.mnist.load_data()`来下载和预处理数据： ```python (x_train, y_train), (x_test, y_test) = tf.keras.datasets.mnist.load_data() ``` 数据集中的图像为...
基于Tensorflow读取MNIST数据集时网络超时的解决方式
12-17
在使用TensorFlow学习深度学习的过程中，MNIST数据集是最常用的手写数字识别数据集，它包含训练集和测试集，用于构建和评估简单的神经网络模型。然而，有时在尝试通过`tensorflow.examples.tutorials.mnist.input_...
TensorFlow入门教程：MNIST数据集读取与全连接网络训练
加载数据后，可以将训练集、验证集和测试集的图片和对应的标签分别保存在变量中，例如`train_X`、`validation_X`、`test_X`分别存储训练集、验证集和测试集的图像数据，而`train_Y`、`validation_Y`、`test_Y`则存储...
机器学习中的train valid test以及交叉验证
weixin_41036461的博客
07-03 2036
https://www.cnblogs.com/rainsoul/p/6373385.html参考博客：http://blog.youkuaiyun.com/u010167269/article/details/51340070在以前的网络训练中，有关于验证集一直比较疑惑，在一些机器学习的教程中，都会提到，将数据集分为三部分，即训练集，验证集与测试集，但是由于工作中涉及到的都是神经网络的训练，大部分的情况是将...
mnist转换为3通道的224*244，生成训练train.txt和vaild.txt
baidu_40840693的博客
06-25 2435
参考GitHub： https://github.com/yangninghua/deeplearning_backbone 生成txt import numpy as np import struct from PIL import Image import os data_file = 't10k-images.idx3-ubyte' # It's 7840016B, b...
训练过程中的train，val，test的区别
热门推荐
866
08-29 5万+
train是训练集，val是训练过程中的测试集，是为了让你在边训练边看到训练的结果，及时判断学习状态。test就是训练模型结束后，用于评价模型结果的测试集。只有train就可以训练，val不是必须的，比例也可以设置很小。test对于model训练也不是必须的，但是一般都要预留一些用来检测，通常推荐比例是8:1:1 val是validation的简称。training datas...
tensorflow fashion_mnist数据集模型训练及预测
xiao2macf的专栏
12-03 1993
前面介绍mnist手写数字集训练，本文对数据集训练和预测进行简要介绍。fashion_mnist数据集和mnist数据集类似，都是28x28的灰度图片，区分是fashion_mnist数据集是服装图片。
from sklearn.cross_validation import train_test_split，train_test_split下出现红色波浪线
little_yan的博客
11-02 1万+
大家可能会遇到这样的问题，明明from sklearn.cross_validation import train_test_split在一台电脑上运行没有任何问题，但是换了一台电脑就出现如下图所示的问题，显示没有该模块。图中为灰色的原因是我的代码中未调用该包，只是为了解决问题而举例。 如何将该问题解决，方法是将from sklearn.cross_validation import tra...
tfds.load()和tf.data.Dataset的简介
qq_43203949的博客
09-14 1万+
tfds.load()和tf.data.Dataset的简介 tfds.load()有以下参数 tfds.load( name, split=None, data_dir=None, batch_size=None, shuffle_files=False, download=True, as_supervised=False, decoders=None, read_config=None, with_info=False, builder_kwargs=None, downloa
TensorFlow笔记之MNIST例程详解
kaka的博客
03-14 1万+
MNIST被称为这方面的HelloWorld，此程序修改自github程序如下# -*- coding:utf-8 -*- from tensorflow.examples.tutorials.mnist import input_data import tensorflow as tfdir='/home/kaka/Documents/input_data' # 1.Import data mni
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值