TensorFlow2.3.1和MNIST数据集相关操作

机器学习Tensorflow基于MNIST数据集识别自己的手写数字(读取和测试自己的模型) 废话不多说,先上效果图 整体来看,效果是非常不错的,模型的训练,参照官方代码mnist_deep.py,准确率是高达99.2% 那么,我是怎么实现的呢? 一.读懂卷积神经网络代码(至少得把程序跑通) 首先参照Tensorflow中文社区教程传送门: http://www.tensorfly.cn/tfdoc/tutorials/mnist_pros.html 能在自己的 阅读详情

项目场景:

由于网上对TensorFlow2.3.1的相关操作介绍的很少,即使有大部分都是有错误的,于是我就通过自己的摸索,对此作以总结。


问题描述:

首先是通过tensorflow对MNIST数据集进行下载,网上对此具体的操作是使用以下方法进行下载:

from tensorflow.examples.tutorials.mnist import input_data

mnist = input_data.read_data_sets('MNIST_data',one_hot = True)


原因分析:

因为TensorFlow2.0往后的版本已经更新了很多函数库,比如examples库中没有tutorials函数,如果非要使用可以对此进行下载。我觉得没必要,因为TensorFlow2.3.1中给我们提供了keras库,该库中给我们专门提供了对相关数据集的下载,具体的操作在下方的完整代码中。


解决方案:

首先是对MNIST数据集的可视化显示完整代码:

接下来是对MNIST数据集做的相关训练完整代码:

import tensorflow as tf

#定义超参数
batch_size = 256 #一次训练的样本数量
learning_rate = 0.001 #学习率
iteration_num = 20#迭代次数

#优化器
optimizer = tf.keras.optimizers.Adam(learning_rate=learning_rate)

#模型
model = tf.keras.Sequential([
    tf.keras.layers.Dense(256,activation=tf.nn.relu),
    tf.keras.layers.Dense(128,activation=tf.nn.relu),
    tf.keras.layers.Dense(64,activation=tf.nn.relu),
    tf.keras.layers.Dense(32,activation=tf.nn.relu),
    tf.keras.layers.Dense(10)
])

#调试输出summary
model.build(input_shape=[None,28*28])
print(model.summary())

#数据预处理
def pre_processing(x,y):
    """
    :param x:特征值
    :param y: 目标值
    :return: 返回处理好的x,y
    """
    #转换x
    x = tf.cast(x,tf.float32)/255
    x = tf.reshape(x,[-1,784])

    #转换y
    y = tf.cast(y,dtype=tf.int32)
    y = tf.one_hot(y,depth=10)

    return x,y

#获取数据
def get_data():
    """
    :return:返回分批玩的训练集和测试集
    """
    #获取数据
    (X_train,y_train),(X_test,y_test) = tf.keras.datasets.mnist.load_data()

    #分割数据集
    train_db = tf.data.Dataset.from_tensor_slices((X_train,y_train)).shuffle(60000, seed=0)
    train_db = train_db.batch(batch_size).map(pre_processing)

    #分割测试集
    test_db = tf.data.Dataset.from_tensor_slices((X_test,y_test)).shuffle(10000, seed=0)
    test_db = test_db.batch(batch_size).map(pre_processing)

    #返回
    return train_db,test_db

#训练数据
def train(train_db):
    """
    训练数据
    :param train_db:分批的数据集
    :return: 无返回值
    """
    for step,(x,y) in enumerate(train_db):
        with tf.GradientTape() as tape:
            logits = model(x)#获取模型输出结果
            MSE = tf.reduce_mean(tf.losses.MSE(y,logits))#计算MSE
            Cross_Entropy = tf.losses.categorical_crossentropy(y,logits,from_logits=True)#计算交叉熵
            Cross_Entropy = tf.reduce_sum(Cross_Entropy)

        #计算梯度
        grads = tape.gradient(Cross_Entropy,model.trainable_variables)
        #更新参数
        optimizer.apply_gradients(zip(grads,model.trainable_variables))
        #每100批调试输出一次误差
        if step%100 == 0:
            print("step:",step,"Cross_Entropy:",float(Cross_Entropy),"MSE:",float(MSE))

#测试模型
def test(epoch,test_db):
    """
    测试模型
    :param epoch:轮数
    :param test_db: 分批的测试集
    :return: 无返回值
    """
    total_correct = 0#正确数
    total_num =0 #总数

    for x,y in test_db:
        #获取模型输出结果
        logits = model(x)
        #预测结果
        pred = tf.argmax(logits,axis=1)
        #从one_hot编码变回来
        y = tf.argmax(y,axis=1)
        #计算准确数
        correct = tf.equal(pred,y)
        correct = tf.reduce_sum(tf.cast(correct,dtype=tf.int32))
        #添加正确数和总数
        total_correct += int(correct)
        total_num += x.shape[0]
    #计算准确率
    accuracy = total_correct/total_num
    #调试输出
    print("epoch:",epoch,"Accuracy:",accuracy*100,"%")

def main():
    """
    主函数
    :return:无返回值
    """
    #获取数据
    train_db,test_db = get_data()

    #轮期
    for epoch in range(1,iteration_num):
        train(train_db)
        test(epoch, test_db)
if __name__ == '__main__':
    main()

相关结果如下:

 

 

 

 

 

Tensorflow初探之MNIST数据集学习 官方文档传送门MNIST数据集是手写数字0~9的数据集,一般被用作机器学习领域的测试,相当于HelloWorld级别。本程序先从网上导入数据,再利用最小梯度法进行训练使得样本交叉熵最小,最后给出训练之后程序的准确率。交叉熵的定义:y 是我们预测的概率分布, y' 是实际的分布。该指标用来衡量学习结果与实际情况的差距。import tensorflow.examples.tutorials.mnis... 阅读详情

相关推荐

Ubuntu下Tensorflow加载MNIST数据集(数据下载和读取)

Ubuntu下Tensorflow加载MNIST数据集(数据下载和读取)简介:作为小白初入茅庐,根据tensorflow中文版的参考文档,以及自己平时学习的体会,总结了在ubuntu下进行深度学习的mnist测试手写数字过程。

snailme的博客 3449

Fashion MNIST 图片重建与生成(VAE)

前面只能利用AE来重建图片,不是生成图片。这里利用VAE模型完成图片的重建与生成。 一、数据集的加载以及预处理 # 加载Fashion MNIST数据集 (x_train, y_train), (x_test, y_test) = keras.datasets.fashion_mnist.load_data() # 归一化 x_train, x_test = x_train.astype(np.float32) / 255., x_test.astype(np.float32) / 255. #

风间琉璃的博客 3423

关于tensorflow入门keras的Fashion-mnist数据集无法下载的解决方法

(提供fashion-mnist数据集下载链接)在练习tensorflow入门案例中,我们会遇到数据集无法下载卡住的尴尬——这时候我查了很多资料,这里提供一个通过下载本地数据集的处理相应问题的方法——主要阵对-Fashion-mnist数据集关于此类的问题处理方法。

笔岸柳影 5182

tensorflow2.3.1导入mnist数据集,报错No module named ‘tensorflow.examples.tutorials.mnist‘

自己下载、准备好两个数据:tutorials(https://share.weiyun.com/ivvWtHmV)、数据集(http://yann.lecun.com/exdb/mnist/) 1.安装好tensorflow2.3.1后,存在目录如图:位于Lib\site-packages文件夹下: 2.将下载好的tutorials数据复制进Lib\site-packages\tensorflow\examples,得到: 3.新建MNIST_data文件夹 4.然后将数据集拷贝进Lib\site-p

qq_42185397的博客 4266

tensorflow入门之mnist手写数据集识别

最近开始研究机器学习,整个模型都自己写的话不太现实,所以还是得用框架。几经查找,选择了Google的Tensorflow框架,这个起步也还比较好用,网上参考资料也很多。 参考的教程官网:[tensorflow](http://www.tensorfly.cn/tfdoc/tutorials/mnist_pros.html) 环境安装的话,我用的python3.6,这里强烈推荐安装个Anaconda,

cl6348的专栏 5072

电荷灵敏前置放大器噪声优化策略:从理论到实践

本文深入探讨了电荷灵敏前置放大器的噪声优化策略,从理论分析到实践应用。文章系统解析了并联电流噪声与串联电压噪声的来源,并引入噪声等效原理与“冷电容”模型作为统一分析工具。通过详解a、b、c三类噪声的频谱特性,为实战优化提供了清晰指导。核心策略包括选用高跨导、低漏电流FET,优化静态工作点,采用共源-共基结构,精心设计反馈网络,以及实施严格的PCB布局、屏蔽与接地,旨在全面提升微弱信号检测系统的信噪比。

weixin_29292431的博客 471

tensorflow2.3.1无法导入mnist数据集

Pycharm tensorflow2.3.1无法导入mnist数据集,程序运行报错No module named tensorflow.examples.tutorials.mnist from tensorflow.examples.tutorials.mnist import input_data mnist = input_data.read_data_sets ( 'E:/pythonProject/python37/Lib/site-packages/tensorflow/examples/tu

PK的博客 1309

Linux系统杀毒软件深度评测:8款主流工具对比(2025最新版)

本文针对Linux服务器/桌面环境,实测8款杀毒软件,涵盖开源免费、企业级防护、轻量级工具等类型,附保姆级安装教程和避坑指南,新手也能5分钟选对工具!

awei0916的专栏 1万+

关于Tensorflow 2.2 “MNIST”导入错误解决方法

TensorFlow 提供了一个库, 可以直接用来自动下载与安装MNIST ,安装代码如下: from tensorflow.examples.tutorials.mnist import input_data #通过包引入类 mnist = input_data.read_data_sets 运行该段代码时会出现如下报错: ModuleNotFoundError: No module named 'tensorflow.examples.tutorials' 这里提供一个方法,代码第一行是下载MNIS

aya_tao的博客 1715

【单片机】STM32F103C8T6 最小系统板原理图

STM32F103C8T6是一款基于ARM Cortex-M3内核的32位微控制器,由STMicroelectronics(ST)公司生产。它是STMicroelectronics的STM32系列微控制器中的一员,被广泛应用于嵌入式系统和电子设备中。LQFP48封装(Low-profile Quad Flat Package,48引脚)SRAM(静态随机访问存储器):20 KB。支持JTAG调试和编程接口(可选)多个通用输入/输出口(GPIO)USB接口(用于USB设备模式)内置调试和编程接口(SWD)

q742971636的博客 6万+

古月学院《如何在Gazebo中实现阿克曼转向车的仿真》课程资料在ROS Noetic版本中运行时的常见错误及解决方法

   最近想在Gazebo中开发一些仿真内容,于是购买了古月学院的《如何在Gazebo中实现阿克曼转向车的仿真》课程,但是由于ROS 版本的更新,拿到手的课程资料不能直接在ROS Noetic版本中运行,经过我这几天的探索,对遇到的错误及解决方法进行了整理,方便后面购买课程的小伙伴更快的成功运行程序    在文章正式开始之前,先放一下我之前为了寻找该资料报错的原因,而写的两篇与该课程相关的文章链接,感兴趣的可以自行阅读    以阿克曼转向车为例对URDF和XACRO文件进行解读(点击可跳转)    将x

慕羽★的博客 5976

TF2.1数据集的加载与预处理

import tensorflow as tf from tensorflow import keras import numpy as np import matplotlib.pyplot as plt from mpl_toolkits.mplot3d import Axes3D print(tf.__version__) 2.1.0 常用的数据集TF官网上已经有了 数据集加载 (x_train, y_train), (x_test, y_test) = tf.keras.datasets.mn

jiayoudangdang的博客 1148

Neo4j LLM知识图谱构建器使用教程

是一个开源应用程序,旨在将非结构化数据(如PDF、文档、文本、YouTube视频、网页等)转换为存储在Neo4j中的知识图谱。该项目利用大型语言模型(如OpenAI、Gemini等)从文本中提取节点、关系及其属性,并通过Langchain框架创建结构化的知识图谱。

u013250861的博客 542

使用Tensorflow和MNIST识别自己手写的数字

最近在学习神经网络相关的东西,发现有很多资料是Tensorflow教程上的内容,但是教程很多只是一个验证官方程序的过程。如何将官方程序变成自己可以利用的程序,网上似乎资料比较少,所以我就来介绍一下如何使用Tensorflow和MNIST搭建自己的手写识别算法,识别自己写的数字。

鸡蛋灌饼小菜鸟的博客 6万+

姿态传感器/陀螺仪之BMI270应用原理图设计

BMI270是一款由博世(Bosch)推出的高性能、超低功耗惯性测量单元(IMU),专为可穿戴设备、智能设备及物联网应用设计。

corlin6688的博客 2867

多思计组实验实验六 微程序控制器实验

实验六 微程序控制器实验

qq_53089329的博客 3791

手写数据集MNIST(1)VScode + Tensorflow

利用Anaconda下的tensorflow平台处理手写数据集MNIST——常见问题合集 这里写目录标题tensorflow的搭建一:安装Python安装Anaconda新的改变功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 te

0 1万+

CMake入门教程【基础篇】在Windows、Linux上安装CMake

CMake如何下载与安装

小鱼酱的博客 2730

JPG、PNG与MNIST数据集之间的转换

最近用到手写识别,想起来 TensorFlow 的 tutorial 上有个手写识别的教程,想正好拿来用。但是问题很明显,TensorFlow 上的这个教程手写数据集的前期处理是自动完成的,如果我想输入自己的手写图片,该如何做前期处理呢?TensorFlow 用到的数据集是MNIST,在数据集的官网上可以看到,MNIST 把图片文件转成了特定格式的二进制文件,文件后缀为 idx3-ubyte同时百度

sdoddyjm68的博客 1万+

贝叶斯统计 [韦来生编]

贝叶斯(Bayes)统计是近几十年来迅速发展起来的数理统计的一个重要分支。贝叶斯方法与经典统计方法的主要不同之处是进行统计推断时除了利用样本信息外,还要利用参数的先验信息,因此可以提高统计推断或统计决策的效果。它在经济、金融、生物、医学、自然科学和社会科学等许多领域具有广泛的应用。贝叶斯方法的研究已渗透到了统计学的几乎所有领域。作者在给中国科学技术大学概率论与数理统计专业本科生开设的“数理统计”课程中有一章专门讲授“贝叶斯方法和统计决策理论”,近十年来也给中国科学技术大学概率统计专业研究生开设过几次“贝叶斯分析”课。本书是在对过去讲稿的内容作了适当的增减和调整的基础上完成的。  本书共分六章。第1章是绪论,介绍了贝叶斯统计的若干基本概念,同时对必要的数理统计的基础知识有重点地作了回顾。第二章介绍了确定先验分布的若干可供选择的方法。第三章介绍了几类常见统计模型参数的后验分布的主要结果和计算方法。第四章和第五章分别介绍了“贝叶斯统计推断”和“贝叶斯统计决策”的内容。第六章介绍了贝叶斯统计计算的若干方法,包括蒙特卡洛方法和马尔可夫链蒙特卡洛(MCMC)方法以及相关统计软件的简介。本书的每一章附右大量的例题和习题,书末附有常用的几个表格和部分习题解答供读者查用。  大约可在54学时内讲授本书的第1章至第六章的主要内容,教师可根据学时需要选讲本书第1章至第六章的部分内容。书中标“*”号的章节可略去不讲,留给读者作为阅读材料。第六章例题中的R代码和部分例题的数据文件等可从作者个人主页下载。  作者在编写本书的过程中参考了J.O.Berger教授的《统计决策论及贝叶斯分析》和茆诗松教授编写的《贝叶斯统计》等书中的一些内容,以及《贝叶斯分析》一书中由张伟平博士编写的有关贝叶斯统计计算的一些内容。在此表示衷心感谢。  本书编写准备过程中,中国科学技术大学统计与金融系的几个研究生帮助完成了本书部分中文的录入和排版,作者对他们的辛勤工作表示真诚的感谢。高等教育出版社为本书的出版给予了大力支持。在此一并致谢。

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

tensorflow MNIST 数据集

训练代码 tensorflow 2.0 MNIST 数据集 代码 # -*- coding: utf-8 -*- """ Created on Wed Nov 18 16:30:52 2020 @author: Administrator """ import tensorflow as tf mnist = tf.keras.datasets.mnist # 载入并准备好 MNIST 数据集。将样本从整数转换为浮点数 # 自动 从网络中下载数据集 Downloading data from https

416

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

tensorflow2.0 mnist

#!/usr/bin/env python3 # -*- coding: utf-8 -*- """ Created on Sat Jun 22 18:55:41 2019 @author: lg """ import tensorflow as tf def prepare_mnist_features_and_labels(x, y): x = tf.cast(x, tf.float3...

luoganttcc的博客 1719

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

Dataset之Fashion-MNIST:Fashion-MNIST数据集简介、下载、使用方法之详细攻略

Dataset之Fashion-MNIST:Fashion-MNIST数据集简介、下载、使用方法之详细攻略 目录 Fashion-MNIST数据集简介 1、Why we made Fashion-MNIST Fashion-MNIST数据集下载 0、数据集及代码下载 1、基于python语言下载 2、基于Tensorflow下载 Fashion-MNIST数据集使用方...

头部AI社区如有邀博主AI主题演讲请私信—心比天高,仗剑走天涯,保持热爱,奔赴向梦想!低调,专注,谦虚,自律,反思,成长,还算比较正能量的博主,公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然,有点小情怀,也有点使命感呀 1万+

MNIST导入图片数据集

一 MNIST简介MNIST是一个入门级的计算机视觉数据集。当我们开始学习编程时,第一件事往往是学习打印Hello World。在机器学习入门的领域里,我们会用MNIST数据集来实验各种模型。MNIST里包含各种手写数字图片。也包含每张图片对应的标签,告诉我们这个数字几。MNIST数据集合的官网是http://yann.lecun.com/exdb/mnist/二 MNIST编程一般步骤1 导入M...

实践求真知 1万+

读取MNIST数据集的几种方法

机器学习中处理MNIST数据集相当于编程语言中的"hello world",其中训练集中包含60000 个examples, 测试集中包含10000个examples。数据为像素28*28=784的图像,标签为0-9等10个数字标签。 为方便处理,我们希望输出的数据为(x_train,y_train),(x_test,y_test)四个数组,其中x_train包含了60000个维度为784的向量表示图像,将标签进行one-hot编码,比如将数字标签2编码为[0,0,1,0,0,0,0,0,0,0]这样的数组

JohnJim的博客 1万+

tensorflow2.x 数据集相关知识和操作

首先需要安装一个独立的Python包提供支持: 导入mnist数据集示例: 说明: 返回的是一个类型的对象,由一些列的可迭代访问的元素(element)组成,每个元素包含一个或多个张量。比如说,对于一个由图像组成的数据集,每个元素可以是一个形状为 的图片张量,也可以是由图片张量和图片标签张量组成的元组(Tuple)。方法。具体而言,如果我们的数据集中的所有元素通过张量的第 0 维,拼接成一个大的张量(例如,前节的 MNIST 数据集的训练集即为一个 的张量,表示了 60000 张 28*28 的单通道灰

error的博客 1111
上一篇: TypeError: unsupported operand type(s) for &: ‘float‘ and ‘float‘解决方案
下一篇: TensorFlow2.3.1对Fashion MNIST数据集相关训练
Caoyy686868
博客等级 码龄8年 5742粉丝 57原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Caoyy686868

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值