《动手学深度学习》6、10(自然语言处理)学习小结

学习目标：

学习本书的自然语言处理部分

---

学习内容（学习资料）：

• b站视频P12-P19
• 纸质书
• 在kaggle平台跑部分代码
• 少部分jupyter文档

---

学习收获：

• 对神经网络时代的自然语言处理有了更细致的理解
• 学习了各种循环神经网络架构
• 学习了词向量、编码器解码器、attention等概念

学习中遇到的问题

• 在自己用mxnet组网时发现，有很多maxnet框架细节要注意，比如循环神经网络的forward要把input进行转置等，所以还是要仔细看视频、文档吧。
• 此外有的地方需要对模型输入输出的形状很明晰，比如你在用注意力机制要concat的时候，而不像前面卷积神经网络大部分可以都让gluon自己来推断输入的维度。