从零实现深度学习框架——从共现矩阵到点互信息

引言

本着“凡我不能创造的，我就不能理解”的思想，本系列文章会基于纯Python以及NumPy从零创建自己的深度学习框架，该框架类似PyTorch能实现自动求导。
💡系列文章完整目录： 👉点此👈
要深入理解深度学习，从零开始创建的经验非常重要，从自己可以理解的角度出发，尽量不适用外部框架的前提下，实现我们想要的模型。本系列文章的宗旨就是通过这样的过程，让大家切实掌握深度学习底层实现，而不是仅做一个调包侠。

本文从共现矩阵到点互信息和奇异值分解，介绍了分布式单词表示法。

共现矩阵

共现矩阵(co-occurrence matrix)是一种表示单词共现频率的方式。我们来看两个常用的矩阵：term-document矩阵和term-term矩阵。

term-document 矩阵

在该矩阵中，每行表示词汇表中的一个单词，每列表示一个文档。下表显示了一个term-document矩阵中的一个子集，显示了莎士比亚的四个剧本中出现的四个单词。矩阵中的每个单元格表示特定的单词(行)在特定文档(列)中出现的次数。

	As You Like It