超喜欢榴莲呀的博客

BOW：图像检索：BoW图像检索原理与实战 SIFT： SIFT特征详解 cs231n学习资源： 笔记和作业获取：知乎专栏（2017版本），对应官网2017版，但是笔记到第九节CNN就结束了 视频：斯坦福2017季CS231n深度视觉识别课程视频 ...

摘要 我们提出了两种新的模型体系结构，用于从非常大的数据集计算单词的连续向量表示。这些表征的质量通过一个单词相似性任务来衡量，然后将结果与之前基于不同类型的神经网络的表现最好的技术进行比较。我们观察大改善准确性以低得多的计算成本,即需要不到一天学习优质词向量从16亿字数据集。此外,我们表明,这些向量提供最先进的性能测试集测量句法和语义词相似之处。 1. 引文 许多当前的NLP系统和技术将单词视为原子单位——单词之间没有相似性的概念，因为它们在词汇表中表示为索引。这一选择有几个很好的理由——简单性、健壮性，以

基本概念梳理 基于神经网络的分布表示一般称为： 词向量 词嵌入（ word embedding） 分布式表示（ distributed representation） 通过神经网络训练语言模型可以得到词向量。 神经网络语言模型： Neural Network Language Model ，NNLM Recurrent Neural Network based Language Model，RNNLM Collobert 和 Weston 在2008 年提出的 C&W 模型 Mikolov

这篇文章对梯度爆炸和梯度消失的解释很好。 关于LSTM解决梯度消失问题，参考这篇文章，对于这其中的一些图，可以参考这篇文章。 这里对LSTM的图做一下标注：