deeplearn学习笔记 cs224n lecture2

lyc1635566ty

于 2018-04-03 18:34:13 发布

阅读量197

点赞数

分类专栏： deeolearning学习

本文链接：https://blog.youkuaiyun.com/lyc1635566ty/article/details/79807461

版权

deeolearning学习专栏收录该内容

13 篇文章

订阅专栏

本文深入探讨了Word2Vec的工作原理，包括其核心组件如中心词(center word)与上下文词(context word)的概念，以及预测函数(prediction function)的作用。文中详细介绍了两种主要模型：Skip-grams(SG)和连续词袋模型(Continuous Bag of Words, CBOW)，并讨论了如何通过梯度下降及随机梯度下降算法来训练这些模型。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

                    
                    WordNet 
单词用不相关的符号组成 
Word2Vec 概述 
 
   L(θ)和J(θ) 
   
      L 
     
      ( 
     
      θ 
     
      ) 
     
       和 
      
      J 
     
      ( 
     
      θ 
     
      ) 
     
   的定义 
 
   L(θ) 
   
      L 
     
      ( 
     
      θ 
     
      ) 
     
   likelihood 
 
   J(θ) 
   
      J 
     
      ( 
     
      θ 
     
      ) 
     
    loss function 
Center word 
Context word 
Prediction function 
Train the model 
Word2vec更多细节 
为什么用两个变量 更容易优化 可以取平均 
两个模型变型 
Skip-grams(SG) 
Continuous Bag of Words(CBOW) 
梯度下降 
随机梯度下降算法