基础原理

1）CNN原理，如何用在文本上，在什么情况下适合用CNN，在什么情况下用LSTM

2）RNN系列，掌握RNN、LSTM和GRU的内部结构，RNN产生梯度消失的原因，LSTM如何解决，GRU对LSTM的改进。

3）Word2vec工具，怎么训练词向量，skip-gram和cbow，可以参考一下：一篇通俗易懂的word2vec（也可能并不通俗易懂）

4）Attention机制，比较常见的方法，可以参考一下：Attention用于NLP的一些小结

5）NLP基础任务，比如分词算法（序列标注任务），分类算法

 

1、CNN原理，如何用在文本上，在什么情况下适合用CNN，在什么情况下用LSTM

给CNN最适合的任务就是分类，比如Sentiment Analysis, Spam Detection, 或者Topic Categorization. 卷积和Pooling算子会丢失一些局部的位置信息，从而使得句子标签变成了Part of Speech标签或者Entity提取变得更加困难对于纯粹的CNN框架。

 

2、深层网络和浅层网络相比有什么优势呢？

简单来说深层网络能够表达力更强。事实上，一个仅有一个隐藏层的神经网络就能拟合任何一个函数，但是它需要很多很多的神经元。而深层网络用少得多的神经元就能拟合同样的函数。也就是为了拟合一个函数，要么使用一个浅而宽的网络，要么使用一个深而窄的网络。而后者往往更节约资源。