
NLP
文章平均质量分 91
Webbley
机器学习/深度学习/NLP/
展开
-
CS224n笔记三之词向量模型与GloVe
词向量模型语言学家J. R. Firth提出,通过一个单词的上下文可以得到它的意思,所以我们可以定义一个以预测某个单词的上下文的模型: p(context|wt)= ...p(context|w_t) = \ ... 我们的目标当然是希望概率p越大越好,所以我们可以定义一个目标函数: J′(θ)=∏t=1T∏−m≤j≤m, j≠0P(wt+j|wt;θ){J}'(\theta) = \pr原创 2017-10-14 10:04:56 · 1676 阅读 · 2 评论 -
CS224n笔记二之word2vec与softmax推导
最近刚刚开始看斯坦福CS224n系列视频,主要讲的是自然语言处理与深度学习的结合。笔者怕自己看完视频就忘了,因此想记录下学习过程中的笔记。当然笔者发现了网上已经有人也发了一些CS224n的学习笔记。笔者主要学习了视频和参考了这篇笔记,再加上一些自己觉得难懂的地方的理解。笔者也是刚刚入门,水平有限,如有错漏,还望指出。如何在电脑中表示一个词的意义?用电脑表示一个词的问题词...原创 2017-10-03 12:26:07 · 2410 阅读 · 2 评论