weixin_73939612的博客

原创 One-Hot编码与Distributed Representation学习笔记

这是为了计算效率，避免存储和计算巨大的稀疏矩阵，但在数学原理上，它就是 One-Hot 乘法。例如，“Bank”在“River Bank”（河岸）和“Bank Account”（银行）中是同一个向量，这显然不合理。语义缺失则是因为在 One-Hot 空间里，“猫”和“狗”的相似度，与“猫”和“苹果”的相似度是一样的（都是0）。模型会认为 |2-1| < |3-1|，即“香蕉”和“苹果”比较像，而“西瓜”和“苹果”差别很大。优化过程就是在一个高维球面上，把共现过的词向量拉近，把没见过的词向量推远。