19、循环神经网络与一维卷积网络在序列处理中的高级应用

循环神经网络与一维卷积网络在序列处理中的高级应用

1. 循环神经网络的高级应用

1.1 Dropout正则化的GRU模型

为了减少过拟合，我们可以在GRU层中添加dropout和recurrent_dropout。由于使用dropout进行正则化的网络通常需要更长的时间才能完全收敛，因此我们将训练的轮数加倍。以下是具体的代码实现：

from keras.models import Sequential
from keras import layers
from keras.optimizers import RMSprop

model = Sequential()
model.add(layers.GRU(32,
                     dropout=0.2,
                     recurrent_dropout=0.2,
                     input_shape=(None, float_data.shape[-1])))
model.add(layers.Dense(1))
model.compile(optimizer=RMSprop(), loss='mae')
history = model.fit_generator(train_gen,
                              steps_per_epoch=500,
                              epochs=40,
                              validation_data=val_gen,