自然语言处理(NLP)之路—(1)—面试准备：基础/重要知识点整理

写在前面

思路：来源于《自然语言处理面试基础》；
方式：点杀、输出与迭代；

常见知识点

0105 第一次知识点收集
让我们先看看一些常见自然语言处理面试题：

RNN 为什么会发生梯度消失？如何改进？
LSTM 的模型结构是什么？
为什么说 LSTM 具有长期记忆功能？
LSTM 为什么能抑制梯度衰减？
什么是 Word2Vec？如何训练？
Word2vec，CBOW 和 Skip-gram 的区别是什么？
什么是 seq2seq 模型？有哪些优点？
什么是注意力机制？
为什么要使用注意力机制，有什么优点？
CNN 的原理是什么？有哪些优缺点？
BERT 的模型结构是什么？如何应用？...

知识点梳理

0105 第一次梳理

what

都有哪些核心知识点

RNN 与 LSTM （循环神经网络基础）
Word2vec 与 CBOW 和 Skip-gram（词嵌入）
seq2seq 模型和 attention 机制
CNN 框架
BERT 模型

• RNN 与 LSTM
• Word2vec 与 CBOW 和 Skip-gram
• seq2seq 模型和 attention 机制

seq2seq 是 Google translate 使用的技术，它颠覆了传统的自然语言处理。而Google translate 上线的重大意义在于它证明了跨自然语言的可微分的可编辑的语义表征方式。

Seq2Seq 由五大要素组成：

1.用语言模型生成词向量
2.用于语义编辑的 LSTM 模型
3.Attention 解码机制
4.深度学习借力知识图谱：Seq2Seq 与知识图谱的融合
5.准确性评价函数 BLEU

对应的核心流程：
1.自然语言的表达：字/词—（语言模型）—数字向量(词向量)
2.词向量的再编辑：词向量—（编辑器）—语义的表示
3、4.语义解码：语义表示—（attention 机制及优化）—其他语言
5.评价函数

更多细节参考：
https://blog.youkuaiyun.com/Robin_Pi/article/details/103844313

• CNN 框架
• BERT 模型

why

为什么是它们以及它们有哪些优点和改进

• 为什么使用 RNN？为什么循环神经网络具有记忆功能？

• 为什么使用LSTM？LSTM 为什么可以缓解梯度消失？

• 为什么用双向 LSTM？

• 为什么使用 seq3seq ？什么是 Encoder–Decoder 的结构？

• 为什么需要 Attention 机制？

how

如何实现它们