从零实现深度学习框架——N-Gram语言模型(一)

引言

本着“凡我不能创造的，我就不能理解”的思想，本系列文章会基于纯Python以及NumPy从零创建自己的深度学习框架，该框架类似PyTorch能实现自动求导。
💡系列文章完整目录： 👉点此👈
要深入理解深度学习，从零开始创建的经验非常重要，从自己可以理解的角度出发，尽量不适用外部框架的前提下，实现我们想要的模型。本系列文章的宗旨就是通过这样的过程，让大家切实掌握深度学习底层实现，而不是仅做一个调包侠。

从本文开始就来了解自然语言处理(Natural Language Processing)的基本知识。虽然标题是从零实现深度学习框架，但还是偏重于NLP方面的相关技术。其中最重要的就是L(Language)，那么就不得不提到语言模型(Language model)了，本文主要介绍n-gram语言模型。

语言模型

给定一个句子，要如何预测下一个单词呢？

明犯强汉者，虽远必_

可能你猜到下一个单词是“诛”。这里