基于卷积神经网络(CNN)的中文垃圾邮件检测

前言

统计机器学习先进行特征工程，构建特征向量后，再将特征向量输入各种分类模型（贝叶斯、SVM、神经网络等）进行分类。
随着深度学习的发展以及RNN、CNN的陆续出现，特征向量的构建将会由网络自动完成，我们只需将文本的向量输入到网络中就能够自动完成特征的构建与分类过程。

情感分类主要流程

1 过滤字符
为了分词的方便，示例程序中去除了所有的非中文字符，你也可以选择保留标点符号，英文字符，数字等其他字符，但要在分词时进行一定的特殊处理

2 分词
为了训练Word2Vec 模型，需要先对训练文本进行分词。这里为了方便起见，直接对每个中文字符进行分隔，即最后训练处的word2vec 的向量是对字的embedding, 效果也比较不错

3 对齐
为了加快网络的训练过程，需要进行批量计算，因此输入的训练样本需要进行对齐（padding）操作，使得其维度一致。这里的对齐就是把所有的邮件长度增加到max_document_length (最长的邮件所包含的单词个数)，空白的位置用一个指定单词进行填充(示例程序中用的填充单词为”PADDING”)

4 训练word2vec
在对文本进行分词和对齐后，就可以训练处word2vec模型了，具体的训练过程不在此阐述，程序可以参考项目文件中的word2vec_helpers.py。

训练步骤

在预处理阶段得到了x和y, 接下来将x 和 y 按照一定比例分成训练集train_x, train_y和测试集dev_x, dev_y。
接着按照batch_size分批将train_x输入至网络TextCNN中进行训练，经过三个卷积层的卷积和max-pool之后，合并得到一个向量，这个向量代表了各个卷积层学到的关于训练数据的某些特征，最后将这个向量输入到一个单层的神经网络并用softmax分类，得到最终的分类结果，计算损失（交叉熵）并开始后向传播，执行批量梯度下降来更新网络参数。

CNN对于分类任务较为擅长，但是卷积和pool丢失了一些上下文信息，因此在对上下文把握方面，RNN还是更甚一筹。当然，有研究表明CNN能够通过调整卷积层的各种参数来获取上下文的特征，

---

---

作者：clayanddev
来源：优快云
原文：https://blog.youkuaiyun.com/clayanddev/article/details/70738475