4、深度学习基础架构与自然语言处理应用

深度学习基础架构与自然语言处理应用

1. 深度学习概述

深度学习在自然语言处理领域有着独特的优势，与其他机器学习方法有所不同。在进行深度学习实践时，我们常常会从公共领域的开源代码中获取实用的灵感或复用代码片段，这些灵感来源包括Keras源代码库、Manning的《Python深度学习》配套代码，以及像adventuresinmachinelearning.com、machinelearningmastery.com、karpathy.github.io等流行的开源网站、博客和社区，还有StackOverflow。由于开源代码的复用和共享特性，往往很难追溯原始贡献。

2. 深度学习基本架构

2.1 深度多层感知机（MLP）

深度多层感知机是典型的深度学习网络，由包含“人工神经元”的层组成。这些神经元本质上是数学函数，通过加权连接从其他神经元接收输入，并通过各种数学运算产生输出值。一般来说，深度神经网络有很多神经元和大量需要调整的权重，非正式地，输入层和输出层之间有超过2层的网络可被视为“深度”网络。

下面是一个创建10层深度MLP模型的示例代码：

from keras.models import Sequential
from keras.utils import np_utils
from keras.preprocessing.text import Tokenizer
from keras.layers.core import Dense, Activation, Dropout
# ... process data
model = Sequent