20、循环神经网络与一维卷积网络的高级应用

循环神经网络与一维卷积网络的高级应用

1. 循环神经网络的高级应用

1.1 循环单元的Dropout正则化

在GRU层中添加dropout和recurrent_dropout，以观察其对过拟合的影响。由于使用dropout进行正则化的网络通常需要更长时间才能完全收敛，因此需要将训练轮数增加一倍。以下是示例代码：

from keras.models import Sequential
from keras import layers
from keras.optimizers import RMSprop

model = Sequential()
model.add(layers.GRU(32,
                     dropout=0.2,
                     recurrent_dropout=0.2,
                     input_shape=(None, float_data.shape[-1])))
model.add(layers.Dense(1))
model.compile(optimizer=RMSprop(), loss='mae')
history = model.fit_generator(train_gen,
                              steps_per_epoch=500,
                              epochs=40,
                              validation_data=val_gen,