NLP-Beginner：自然语言处理入门练习----task 2基于机器学习的文本分类

数据集：http://链接：https://pan.baidu.com/s/1UIrk148uRGWKQBBQp-Q4RQ 提取码：o13v

上方为glove数据集。

任务：

1.熟悉Pytorch，用Pytorch重写《任务一》，实现CNN、RNN的文本分类

2.word embedding 的方式初始化

3.随机embedding的初始化方式

4.用glove 预训练的embedding进行初始化

 GloVe: Global Vectors for Word Representation

一、知识点：

1.word embedding(词嵌入):词嵌入模型即是把每一个词映射到一个高维空间里，每一个词代表着一个高维空间的向量。词嵌入实际上是一类技术，单个词在预定义的向量空间中被表示为实数向量，每个单词都映射到一个向量。举个例子，比如在一个文本中包含“猫”“狗”“爱情”等若干单词，而这若干单词映射到向量空间中，“猫”对应的向量为（0.1 0.2 0.3），“狗”对应的向量为（0.2 0.2 0.4），“爱情”对应的映射为（-0.4 -0.5 -0.2）（本数据仅为示意）。像这种将文本X{x1,x2,x3,x4,x5……xn}映射到多维向量空间Y{y1,y2,y3,y4,y5……yn }，这个映射的过程就叫做词嵌入。通过词嵌入这种方式将单词转变为词向量，机器便可对单词进行计算，通过计算不同词向量之间夹角余弦值cos而得出单词之间的相似性。

词嵌入模型的初始化：

（1）随机初始化：给定一个维度d，对于每一个词，随机生成一个d维的向量。这种初始方式非常简单，但是相对可能会产生较劣的初值，也没有一个良好的解释性。

（2）预训练模型初始化（Glove）：拿别人已经训练好的模型作为初值，初始化时间会比较长，因为要从别人的词库里面找，但是这种初值无疑要比随机初始化好得多。

特征表示：给定每个词的词向量，可以把一个句子量化成一个ID列表，再变成特征，也就是矩阵，得到句子的特征矩阵X后，便可以把它放到神经网络中。

2.CNN/RNN

1. CNN卷积神经网络：一般有3-4层，分别是卷积层，激活层，池化层，全连接层，具有局部连接，权重共享，汇聚等特性的深层前馈神经网络，这里的激活参数选择了ReLU函数，ReLu(x)=max(x,0)。池化层相当于是对特征矩阵/向量提取出一些有用的信息，从而减少特征的规模，不仅减少了计算量，也能去除冗余特征。
2. RNN循环神经网络：一般有2-3层，分别是隐藏层，激活曾，全连接层，具有短期记忆能力的神经网络。隐藏层的目的是为了实现记忆功能。

在CNN中，是直接对特征矩阵X进行操作，而在RNN中，是逐个对xi进行操作。

整个流程：句子x通过word embedding得出特征矩阵X在通过神经网络得到类别概率向量p。

3.Dropout(丢弃法)

Dropout (丢弃法) 是指在深度网络的训练中，以一定的概率随机地“临时丢弃”一部分神经元节点。 具体来讲，Dropout 作用于每份小批量训练数据，由于其随机丢弃部分神经元的机制，相当于每次迭代都在训练不同结构的神经网络。简单来讲，就是为了防止模型过拟合，且Dropout层在模型测试时不会有任何影响。

二、实验数据设置