21、深度学习中的文本与序列处理及高级实践

深度学习中的文本与序列处理及高级实践

1. 结合 CNN 和 RNN 处理长序列

在序列处理中，1D 卷积网络（1D convnets）和循环神经网络（RNN）各有特点。1D 卷积网络独立处理输入块，对时间步的顺序不敏感（除了局部尺度，即卷积窗口的大小），这与 RNN 不同。

1.1 简单 1D 卷积网络在温度预测问题上的表现

为了验证 1D 卷积网络在对顺序敏感的任务中的局限性，我们在温度预测问题上进行了尝试。以下是使用 Keras 构建简单 1D 卷积网络的代码：

from keras.models import Sequential
from keras import layers
from keras.optimizers import RMSprop

model = Sequential()
model.add(layers.Conv1D(32, 5, activation='relu',
                        input_shape=(None, float_data.shape[-1])))
model.add(layers.MaxPooling1D(3))
model.add(layers.Conv1D(32, 5, activation='relu'))
model.add(layers.MaxPooling1D(3))
model.add(layers.Conv1D(32, 5, activation='relu'))
model.add(layers.GlobalMaxPooling1D())
model.add(layers.Dense(1))