qq_34661230的博客

cs224n作业 神经网络前向传播后向传播推导  看完视频做这个作业的时候，可卡住我好一会，这里特此记录一下。其实神经网络前向后向推导不难，难就在于网上很多教程没有把特征和维数讲清楚，以致于在具体写代码实现的过程中卡壳，同样也反映了自己目前思考问题还是平面，没有达到空间思考的程度。   其实首先不是去思考前向传播时什么，后向传播是什么，首先应该思考这每一层的维数，即shape是什么 。基本...

wor2vec 讲解结合三个我看过的比较好的网站，这里我重新整理和总结一下word2vec的一些基本原理。公式讲解清楚：https://plmsmile.github.io/2017/11/12/cs224n-notes1-word2vec/图讲解清楚：http://www.hankcs.com/nlp/word2vec.html#h3-12有一个实际的小例子怎么用而不是公式：cs224n...

word2vec的缺陷：没有考虑词序，因为它假设了词的上下文无关(把概率变为连乘)没有考虑全局的统计信息针对这两个方面，应该都有很多解决的方案，毕竟word2vec是很老的东西了。这里介绍了一个方法，改进全局的统计信息。co-occurrence matrix计算共现矩阵，作用于两个方面:句子：捕捉语义和语法的相似性文章：捕捉主题的相似性基于窗口的共现矩阵比如窗口半径为1...

语言模型说实话，这里是很重要。因为做一件事情首先需要明确的就是目的是什么？否则就会再后续的问题中迷失了方向。什么是语言模型，视频中是指计算一个单词序列（句子）的概率P(w1,…,wm)P(w_1,…,w_m)P(w1​,…,wm​)的模型。听上去很简单，做起来很难；听上去没什么用处，但用处非常多。比如在机器翻译中，判断译文序列中一种词序的自然程度高于另一种，判断一种用词选择优于另一种。这个...

通过机器翻译来介绍LSTM和GRU传统做法需要的两个平行语料库，然后基于统计分析的模型这种方法是很难的，因为涉及到多对多以及很多的句法对齐。如果很容易就不会由后面的改进了。这里他提出了一个思想我觉得很重要：end-to-end model: 这还只是传统机器翻译系统的冰山一角，有许多细节没有涉及到，还需要大量的人肉特征工程，总之是非常复杂的系统。其中每个环节都是独立不同的机器学习问题。...

tensorflow基础入门这是cs224n上的视频教程，后续自己也会继续往这里面补充自己对tensorflow的理解。包括基础的概念，代码的实例，变量共享，以及一些小技巧tensorflow的三个重要概念:keyidea:express a numerical computation as a graphgraph nodes:operations which have any nu...

RNN无法做到的事情：can’t capture phrases without prefix contextoften capture too much of last words in final vector所以引入了CNN:

NMT（neural machine translation）不管是传统学习还是深度学习，都是encoder-decoder的架构：MT的优势end-to-end training(也是所有深度学习的优势):为优化同一个损失函数调整所有参数Distributed representation:更好地利用词语、短语之间的相似性(因为利用了word vector和sentence ve...

语言模型：词袋模型(BoW)-简单：一篇文本(文章)被表示成"装着词的袋子",也就是说忽略文章的词序和语法,句法;将文章看做词的组合,文中出现的每个词都是独立的,不依赖于其他词.虽然这个事实上并不成立,但是在实际工作中,效果很好.如下，在词袋模型BoW中,每个词的数量表示有多种方法:可以表示为0-1(在这篇文章中,这个词出现了没有–词集模型),词频(在这篇文章中,这个词出现了多少次),也可以...