CIFAR-10数据集比MNIST训练难度高许多

CIFAR-10数据集的训练难度远高于MNIST,简单模型在MNIST上能轻松达到高精度,但在CIFAR-10上初期精度仅10%,需大量epoch提升至80%。数据预处理如像素值归一化对训练效果有显著影响,学习率的选择至关重要。此外,TensorFlow中重复使用变量名可能影响结果。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

CIFAR-10数据集比MNIST训练难度高许多

MNIST数据集几乎很好训练,随便设计一个两层的全连接网络都能达到将近90%的测试精度,加入卷积层后更是可以轻易达到>97%的精度,但是同样的模型用来训练CIFAR-10,训练相同的epoch之后得到的结果却只有10%,只有训练几十个epoch之后测试精度才能达到80%,其间的上升速度简直慢如蜗牛

cifar10数据像素值的取值范围在[0,255],此时取learning_rate = 1e-3,loss可以比较有效地下降(输入之前减去训练集的图像均值);但是对中心化的图像的像素值压缩到[0,1]时,要取learning_rate = 1e-1才行。
原因:以最简单的单全连接层为例,y=Wx+by=Wx+b,假设W,bW,b已经训练到了最佳参数,当xx 发生伸缩时,假设相应的scale参数是 k ,那么此时的最优模型为ky=W(k

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值