tf2.0实现fashion_mnist分类

1.引入需要的包

import matplotlib as mpl
import matplotlib.pyplot as plt
%matplotlib inline
import numpy as np
import sklearn
import pandas as pd
import os
import sys
import time
import tensorflow as tf

from tensorflow import keras

print(tf.__version__)
print(sys.version_info)
for module in mpl, np, pd, sklearn, tf, keras:
    print(module.__name__, module.__version__)

输出

2.0.0
sys.version_info(major=3, minor=7, micro=3, releaselevel=‘final’, serial=0)
matplotlib 3.0.3
numpy 1.16.2
pandas 0.24.2
sklearn 0.20.3
tensorflow 2.0.0-alpha0
tensorflow.python.keras.api._v2.keras 2.2.4-tf

2.调用fashion_mnist数据集

fashion_mnist = keras.datasets.fashion_mnist
(x_train_all, y_train_all), (x_test, y_test) = fashion_mnist.load_data()
x_valid, x_train = x_train_all[:5000], x_train_all[5000:]
y_valid, y_train = y_train_all[:5000], y_train_all[5000:]

print(x_valid.shape, y_valid.shape)
print(x_train.shape, y_train.shape)
print(x_test.shape, y_test.shape)

输出

(5000, 28, 28) (5000,)
(55000, 28, 28) (55000,)
(10000, 28, 28) (10000,)

3.对数据进行标准归一化

# x = (x - u) / std

from sklearn.preprocessing import StandardScaler

scaler = StandardScaler()
# x_train: [None, 28, 28] -> [None, 784]
x_train_scaled = scaler.fit_transform(
    x_train.astype(np.float32).reshape(-1, 1)).reshape(-1, 28, 28)
x_valid_scaled = scaler.transform(
    x_valid.astype(np.float32).reshape(-1, 1)).reshape(-1, 28, 28)
x_test_scaled = scaler.transform(
    x_test.astype(np.float32).reshape(-1, 1)).reshape(-1, 28, 28)

4.编写网络层

# tf.keras.models.Sequential()

model = keras.models.Sequential()
model.add(keras.layers.Flatten(input_shape=[28, 28]))
for _ in range(20):
    model.add(keras.layers.Dense(100, activation="relu"))
    model.add(keras.layers.BatchNormalization())
    #进行批归一化，防止梯度消失
    #这里是使用比较传统的批归一化手段，如果将activation='selu',的话，自带激活函数，就不需要batchnormalization.
    """
    model.add(keras.layers.Dense(100))
    model.add(keras.layers.BatchNormalization())
    model.add(keras.layers.Activation('relu'))
    """
model.add(keras.layers.Dense(10, activation="softmax"))

model.compile(loss="sparse_categorical_crossentropy",#这里的sparse_categorical_crossentropy，一种交叉熵损失函数，指代的是一个用来计算损失值的数学表达式，（输出结果不需要进行onehot编码，而categorical_crossentropy需要输出提前进行one-hot编码），用来评测模型好坏，也可以自己写（当然一般是没有人家写的好的啦）
              optimizer = "sgd",#这里的sgd其实就是梯度下降算法。先求导数，然后沿着导数的方向下降。
              metrics = ["accuracy"]
              #这里是设置评测指标(metrics),就是判断模型的准确率。除了accurancy还可以传入其他accuracy metric。)
model.summary()

输出

5.调用callbacks函数，并开始训练。

# Tensorboard, earlystopping, ModelCheckpoint
logdir = './dnn-bn-callbacks'#这里是你的文件夹名字
if not os.path.exists(logdir):
    os.mkdir(logdir)
output_model_file = os.path.join(logdir,
                                 "fashion_mnist_model.h5")#这是你保存模型的名字。

callbacks = [
    keras.callbacks.TensorBoard(logdir),
    #调用tensorboard动态绘制训练图像等相关信息。
    keras.callbacks.ModelCheckpoint(output_model_file,
                                    save_best_only = True),
 	#调用ModelCheckpoint来保存训练的模型
    keras.callbacks.EarlyStopping(patience=5, min_delta=1e-3),
    #调用earlystopping，当损失值下降的太慢时停止训练。
]
history = model.fit(x_train_scaled, y_train, epochs=10,
                    validation_data=(x_valid_scaled, y_valid),
                    callbacks = callbacks)
#将训练集和验证集传入fit函数。并指定训练轮数和callbacks.

输出

6.绘制训练曲线图

def plot_learning_curves(history):
    pd.DataFrame(history.history).plot(figsize=(8, 5))
    plt.grid(True)
    plt.gca().set_ylim(0, 3)
    plt.show()

plot_learning_curves(history)
#需要注意的是当网络层数很深，参数很多，如果训练次数很少会出现训练不充分的情况，而如果训练次数过多，又会出现过拟合的情况（可以用dropout(随机的使一些神经元失效)来防止过拟合)
#同样在网络层数很深，参数很多时，容易训练不充分，而且容易出现梯度消失的现象（梯度消失 -> 链式法则 -> 复合函数f(g(x))），可以用本文中的批归一化很好的处理这种情况。

输出

7.最后来在测试集上测试模型好坏

model.evaluate(x_test_scaled,y_test)#传入测试集即可。

输出