使用keras训练神经网络时训练集和验证集准确率远远高于测试集

木呆呆瓶子

于 2019-05-17 10:31:59 发布

阅读量2.1w

点赞数 7

分类专栏：算法学习

本文链接：https://blog.youkuaiyun.com/qq_33880788/article/details/90047268

版权

在Keras中使用Lenet5模型训练CIFAR100数据集时，出现训练集和验证集准确率远高于测试集的现象。可能的原因包括：1) GPU训练与测试环境不一致；2) `model.predict`在预测时的数据顺序问题；3) 错误地使用了二分类损失函数binary_crossentropy，而非适合多分类任务的categorical_crossentropy。修正损失函数后，结果得以匹配。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

环境为keras 在cifar100上训练lenet5 训练集和验证集准确率分别为 acc: 0.9510 val_acc: 0.9330 测试集准确率只有0.46

model=Lenet(n_class)
es = EarlyStopping(monitor='val_acc', patience=5)
tb = TensorBoard(log_dir='./logs',  # log 目录
                     histogram_freq=1,  # 按照何等频率（epoch）来计算直方图，0为不计算
                     batch_size=32,  # 用多大量的数据计算直方图
                     write_graph=True,  # 是否存储网络结构图
                     write_grads=False,  # 是否可视化梯度直方图
                     write_images=True,  # 是否可视化参数
                     embeddings_freq=0,
                     embeddings_layer_names=None,
                     embeddings_metadata=None)
model.compile(loss='binary_crossentropy', optimizer='adam', metrics=['accuracy'])
model.fit(x_train, y_train, batch_size=batch_size, epochs=300, callbacks=[es,tb], validation_split=0.2,shuffle=True)
acc0=model.evalu