embedding

what is emdding

embedding就是把字词用向量表示出来，相当于是对字词做encoding

motivation

比如 猫，狗，我们当然可以直接把他们表示为一些独立的离散符号，但是这样的表示毫无意义，而且会产生大量稀疏数据。使我们在训练统计模型时不得不寻求更多的数据。而词汇的向量表示将克服上述的难题。

background

• VSM（vector space model）
  核心思想就是把一些词用向量空间的表示方法。最基本的应用，就是tf-idf。
  我们把一篇文档用一组向量表示，然后计算文档之间的余弦值来衡量文档相似度。

  vsm在nlp有着非常丰富的应用历史，不过这一模型又是基于分布式假设的。

• 分布式假设
  其核心思想是：认为出现在上下文情景中的词汇都有着相似的语义。
  基于这一假设的方法，大致可以分为两类：
  – 计数方法。潜在语义分析(latent sematics analysis)
  – 预测方法。神经概率化模型
  用神经网络训练语言模型，比较经典就是Bengio于2003年发表在JMLR上的《A Neural Probabilistic Language Model》
  最简单的词向量，当属于one-hot的表示，这种表示并不是很理想，而distributed represention则比one-hot的好很多，一个猜测是：one-hot的表示相当于是空间中一个孤立的点，而distributed represe