paddlepaddle关于MNIST手写数字识别结构的一些思考

最新推荐文章于 2022-10-18 17:47:00 发布
原创 最新推荐文章于 2022-10-18 17:47:00 发布 · 238 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文探讨了在Paddle的手写数字识别模型中去除softmax层后准确率显著提升的现象。通过对比有无softmax层的训练结果，发现去掉softmax层能够增大正确与错误预测之间的差距，从而加速训练过程。

在学习paddle的手写数字识别Demo时发现一个有趣的现象

首先是网络结构

一层卷积, 一层池化

第二层卷积, 第二层池化

全连接.

前向计算部分:

我期间把这个网络结构的softmax去掉了, 发现准确率上升的非常快, 很快会达到0.99, 并且已经使用验证集与测试集分别测试过了, 应该并不是过拟合

这是有softmax的准确率:

有softmax的结构准确率一直在0.7-0.85之间徘徊, 大量训练上升效果有限, 非常好奇为嘛少了softmax反而快了这么多. 我就把训练过程中的包含softmax和不包含softmax的训练中前向计算的结果打印出来:

softmax:

无softmax:

根据数值对比发现相对于softmax的结果, 非softmax的正确与错误结果差距更大, softmax基本区间0-1, 而非softmax的差距有时能达到30. 所以我推测是训练途中softmax导致数据的区分特征(数值差异)不够明显导致训练效果低下, 我尝试在softmax情况下拉大正确与错误结果的距离来复现非softmax的效果:

用来扩大正确答案与错误答案的距离.

其实softmax最终的训练结果也是能达到0.99甚至1.0, 但是需要时间很长. 我这种方法相当于把每次训练的步子拉大. 也算一种优化过程中的一种

paddle手写数字识别解析（多方法）
三岁学编程的博客
03-05 2644
手写数字识别项目解析
小白初识paddlepaddle的心得--mnist手写数字识别
u014310430的博客
08-29 531
小白初识paddlepaddle的心得之mnist手写数字识别获取训练数据设计模型模型训练与保存预测 现在在这些强大框架下，都是一套一套的，按步骤往上套就行了，小白接触paddlepaddle的这些天，看到的所有的大的小的项目都能按这步骤往上套。 paddlepaddle大概会成为深度学习方面的spring吧。 获取训练数据 这里的数据直接用了paddle的mnist，也不用去加载文件啊啥啥的了，小白超友好! 飞桨提供了多个封装好的数据集API，涵盖计算机视觉、自然语言处理、推荐系统等多个领域，帮助读者快速
由mnist引发的思考，pytorch中的交叉熵误差函数nn.CrossEntropy做了什么？
m0_67401382的博客
03-18 1544
文章目录 引入 实验一 实验二 结论 引入 在MNIST手写体实验中，关于在交叉熵损失函数计算误差时，神经网络输出为10个，当标签设置为何种情况时才能满足交叉熵损失函数的计算公式，来探究这个问题。 实验一 直接打印出每个数据的标签内容 代码如下： import torch from torchvision import datasets, transforms transform = transforms.Compose([ # 设置预处理的方式，里面依次填写预处理的方法 transform
基于PaddlePaddle的LeNet神经网络来解决识别手写数字任务
qq_51447436的博客
07-02 5593
基于PaddlePaddle的LeNet神经网络来解决识别手写数字任务
【PaddlePaddle】 mnist手写数字识别（卷积神经网络）
qq_41427568的博客
02-11 8968
这篇文章主要讲解了卷积神经网络的使用。卷积神经网络可以用来提取图像特征，所以在计算机视觉上有很好的效果。 系统：ubuntu18.04 python版本：python2.7 目录训练模型进行预测完整代码 训练模型 先把需要用到的模块导入进来。 #coding:utf-8 ''' created on February 10 23:18 2019 @author:lhy ''' import nu...
4.paddlepaddle之10行代码mnist手写数字识别
kakaccys的博客
07-19 790
如上图，可以看到准确率随着epoch和step的增多在增加，loss逐渐减小，模型收敛，并在最终的评测集达到了98.55%的准确率。对于该数据集标签为数字所代表的值，如上图片为5，其对应的数字也是5，所以这是一个十分类的任务。整个mnist有60000张训练集，10000张测试集，相较于类别数来说样本量相当充足。第三步，生成需要的网络，在这里我们使用paddle自带的lenet。整体来说，paddle可以用很小的成本训练模型任务，做到简单可依赖。第五步，配置模型训练的epoch，batch_size等等。.
基于PaddlePaddle框架的MNIST手写数字识别系统-深度学习-卷积神经网络-图像分类-数据增强-模型优化-可视化分析-北京交通大学人工智能课程大作业-支持CPU和GPU训.zip
最新发布
09-20
基于PaddlePaddle框架开发的MNIST手写数字识别系统集成了深度学习中的多项核心技术，包括卷积神经网络、数据增强、模型优化和可视化分析，同时支持CPU和GPU训练，这为人工智能教学和科研提供了有力的支持。
paddlepaddle手写数字识别模型
null
10-18 2133
数字识别是计算机从纸质文档、照片或其他来源接收、理解并识别可读的数字的能力，目前比较受关注的是手写数字识别。手写数字识别是一个典型的图像分类问题，已经被广泛应用于汇款单号识别、手写邮政编码识别等领域，大大缩短了业务处理时间，提升了工作效率和质量。在处理如所示的手写邮政编码的简单图像分类任务时，可以使用基于MNIST数据集的手写数字识别模型。MNIST是深度学习领域标准、易用的成熟数据集，包含50 000条训练样本和10 000条测试样本。
使用paddlepaddle进行手写数字识别
修炼之路
02-09 3989
导读 MNIST手写数字数据集作为深度学习入门的数据集是我们经常都会使用到的，包含了0~9共10个数字类别的图片，每张图片的大小为28X28，一共包含了60000张训练集图片和10000张测试集图片。 使用PaddlePadlle进行手写数字识别 导包 import paddle from paddle.vision.transforms import Normalize 加载MNIST数据集 #数据的归一化处理 transform = Normalize(mean=[127.5],std=[12
【深度学习入门】Paddle实现手写数字识别详解（基于DenseNet）
12-21
【深度学习入门】Paddle实现手写数字识别（基于DenseNet）0. 闲言碎语：1. MNIST 数据集：2. DenseNet 详解：2.1 ResNet（颠覆性的残差结构）：2.2 DenseNet（跨层链接的极致）：3. 代码： 0. 闲言碎语： OK，因为课程需要就来做了一个手写数字（当初就是这个小项目入的坑hahhh），因为必须在百度的 AI Studio 上进行，所以只能用 Paddle，看了一下 Paddle 的文档，结论是：这不就是 tensorflow + torch 的结合体吗hahhh？所以还是比较容易写这个数字识别的 demo的； 这里就分享一个 Baseline
MNIST数据集合在PaddlePaddle环境下使用简单神经网络识别效果
TSINGHUAJOKING
12-15 1240
简 介： 昨天，参加第十七届智能车竞赛的同学给我发送了一段B站上的，无线充电车模的演示视频：开源开源，第十七届智能车比赛博特电子节能小车，随便玩一玩吧。比赛还是卷不过你们。 关键词： 智能车竞赛，动物识别，PaddleHub #mermaid-svg-xaC73KPaQcB9rHnj .label{font-family:'trebuchet ms', verdana, arial;font-family:var(--mermaid-font-family);fill:#333;color:#333}#.
深度学习（3）手写数字识别问题
weixin_43360025的博客
08-07 2144
深度学习（3）手写数字识别问题1. 问题归类2. 数据集3. Image4. Input and Output5. Regression VS Classification6. Computation Graph7. 两个问题8. Particularly9. 如何训练模型？→\to→ Loss10. 总结11. Deep Learning?12. Classification Procedure13. We need TensorFlow14. Next 1. 问题归类 Discrete Predicti
飞桨Paddle学习笔记03-Mnist
oxygenh2o的博客
10-11 839
对之前的代码进行修改，加入了训练、调试与优化部分，并用VisualDL进行可视化分析； 代码如下： # 加载相关库 import os import random import paddle import numpy as np from PIL import Image import gzip import json # 定义数据集读取器 def load_data(mode='train'): # 读取数据文件 datafile = 'mnist.json.gz' p
手写数字的识别问题
feverfew1的博客
11-15 1972
手写数字的识别问题 pytorch中核心包，torch和torchvision torchvision.datasets 数据的导入——datasets.MNIST(手写数据集) torchvision.transforms 数据的变换 torch.autograd 自动梯度——autograd.Variable import torch from torchvision import datasets, transforms from torch.autograd import Variable 数据
手写数字识别问题（5）——完结
Wendy的博客
06-22 4018
经过接近15周的艰苦努力，毕业设计（基于MATLAB的手写数字识别系统）已经完结。 设计过程中遇到的部分问题可查阅博客： 手写数字识别问题（1）——关于MNIST数据集 手写数字识别问题（2）——利用MATLAB搭建GUI界面 手写数字识别问题（3）——详解卷积神经网络LeNet-5 手写数字识别问题（4）——图像处理时常见问题之uint8与double类型详解 以及本文手写数字识别问题（5）——完结。 本文采用MATLAB型号是MATLAB R2016a，且是利用纯代码BP神经网络设计实现，没有利用M
paddlepaddle手写字体识别
欲与将军会猎与吴
09-04 2341
本文利用多层感知器训练（DNN）模型，用于预测手写数字图片,示例如下： 实践总体过程和步骤 首先导入必要的包 #导入需要的包 import numpy as np import paddle as paddle import paddle.fluid as fluid from PIL import Image import matplotlib.pyplot as plt import os...
深度学习入门必看-手写数字识别
热门推荐
Python，数据分析，机器学习，深度学习
11-15 1万+
前言 目前深度学习框架paddlepaddle、tensorflow、pytorch比较，结合网上大神的总结，pytorch更好学，社区也大，教程较多，莫名其妙的错误比较少。它基于动态图，可以按照正常人的思路玩，API较稳定。 paddlepaddle的话同时支持动态图和静态图，但是社区还在建设中，版本迭代更新快。不过可以嫖百度的云计算服务，值得一试。而且配套的预训练模型和可视化等等开发工具也在上线中，蛮好用的。 tensorflow是出了名新手劝退框架，因为文档比较反萌新，版本兼容性较差（我曾在嫉妒
手写数字识别问题实战
qq_40230112的博客
04-02 5048
1、何为手写数字识别问题？ 手写数字识别即将如下图所示的各种各样的手写体阿拉伯数字识别出来的一个过程，这个问题已经被研究的很成熟了，也有人搜集和整理了手写数字的数据集-mnist。 2、如何解决手写数字识别问题？ 在本次的手写数字识别问题中我们运用到了前面所讲的线性回归模型，通过利用多层的线性回归，并引入非线性因素relu进行训练，训练好模型后进行测试，整个模型...
使用卷积神经网络实现MNIST手写数字识别
"该文档详细介绍了基于卷积神经网络的手写数字识别系统的设计与实现，主要使用了MNIST数据集，编程语言为Python，并利用PaddlePaddle框架编写了网络模型代码。" 本文档深入探讨了一个关键的机器学习应用——手写...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值