用RNN做MNIST分类

关注

转载最新推荐文章于 2026-04-22 00:08:45 发布 644 阅读 AI 写同款· GEO 优化 ›

深度学习-使用RNN-LSTM分类MNIST数据集传统CNN有一个主要特点，就是没有记忆，他们单独处理每个输入，在输入和输入之间没有保存任何状态，对于这样的网络，有些事是无法较好实现的。比如像阅读一篇文章或者一个句子，需要不断地对输入信息进行整合理解，才能更好的解决问题，这时候就需要用到RNN（循环神经网络）。RNN简单理解就是一个序列当前的输出与前面的输出也有关。具体的表现形式为网络会对前面的信息进行记忆并应用于当前输出的计算中，即隐藏层之... 阅读详情

1.前言

RNN常用作NLP中，像图片生成文字、自动生成古诗词等。这篇文章用RNN做MNIST手写数字识别，分类效果虽然没有CNN效果好，但准确率也能够达到96%。

2.环境

Mac os系统，python：3.5，Keras

3.代码实现

import numpy as np
np.random.seed(1337)  
 
from keras.datasets import mnist
from keras.utils import np_utils
from keras.models import Sequential
from keras.layers import SimpleRNN, Activation, Dense
from keras.optimizers import Adam
 
TIME_STEPS = 28     
INPUT_SIZE = 28    
BATCH_SIZE = 50
BATCH_INDEX = 0
OUTPUT_SIZE = 10
CELL_SIZE = 50
LR = 0.001
 
(X_train, y_train), (X_test, y_test) = mnist.load_data()
 
# data pre-processing
X_train = X_train.reshape(-1, 28, 28) / 255.      # normalize
X_test = X_test.reshape(-1, 28, 28) / 255.        # normalize
y_train = np_utils.to_categorical(y_train, num_classes=10)
y_test = np_utils.to_categorical(y_test, num_classes=10)
 
# build RNN model
model = Sequential()
 
# RNN cell
model.add(SimpleRNN(
    batch_input_shape=(None, TIME_STEPS, INPUT_SIZE),       
    output_dim=CELL_SIZE,
    unroll=True,
))
 
# output layer
model.add(Dense(OUTPUT_SIZE))
model.add(Activation('softmax'))
 
# optimizer
adam = Adam(LR)
model.compile(optimizer=adam,
              loss='categorical_crossentropy',
              metrics=['accuracy'])
 
# training
for step in range(40001):
    X_batch = X_train[BATCH_INDEX: BATCH_INDEX+BATCH_SIZE, :, :]
    Y_batch = y_train[BATCH_INDEX: BATCH_INDEX+BATCH_SIZE, :]
    cost = model.train_on_batch(X_batch, Y_batch)
    BATCH_INDEX += BATCH_SIZE
    BATCH_INDEX = 0 if BATCH_INDEX >= X_train.shape[0] else BATCH_INDEX
 
    if step % 500 == 0:
        cost, accuracy = model.evaluate(X_test, y_test, batch_size=y_test.shape[0], verbose=False)
        print('test cost: ', cost, 'test accuracy: ', accuracy)