Flying_sfeng的博客

1. Character-Level Models word embeddings可以由character embeddings组成，有以下好处： 生成未知词的embeddings； 相似的单词拼写可以共享相似的embeddings； 能够解决OOV问题（OOV=out of vocabulary，感觉第三点跟第一点有点像） 1.1. Purely character-level models 针对句子分类任务的纯字符粒度的模型的应用案例是：使用深度卷积网络来进行文本分类； 当然也可以用字符粒度的模型应

1. CNNs (Convolutional Neural Networks) 1.1 Why CNNs? 为什么要再文本中使用卷积神经网络（CNN）呢？CNN通过卷积的方法，并使用不同大小的卷积核，可以捕捉到句子中不同长度短语的语义信息。 1.2 What is Convolution? 卷积操作大家应该都比较熟悉了，如下图，大矩阵为原始二维矩阵（如原始图片信息），红色的小矩阵为卷积核（图中为3×33\times 33×3矩阵）；卷积操作：卷积核与原矩阵的相同大小的矩阵，对应点分别相乘，然后累加的过程。

1 Neural Machine Translation with Seq2Seq 1.1 Brief Note on Historical Approaches 传统的翻译系统是基于概率模型的，包括翻译模型和语言模型，并由此建立起基于词或短语的翻译系统。朴素的基于词的翻译系统没办法捕捉词的顺序关系；基于短语的翻译系统可以考虑输入和输出的短语序列，并且可以处理比基于单词的系统更复杂的语法，但仍然没...

1. Language Models 1.1 Introduction 语言模型表示句子中的词共现的概率： 1.2 n-gram Language Models 原始的语言模型计算量非常大，因此有了n-gram语言模型，下图分别表示bigram和trigram模型： n-gram语言模型存在两个问题：稀疏性和存储空间大。 for example，公式3的分子要求三个词同时出现，但更多情况情况...

写在前面： 最近在学习CS224n，系统的学习NLP理论。后面会把相关的学习笔记和代码公开，欢迎大家和我一起讨论。这是第三课，前面两课已经学完，后续有时间会把相关笔记代码整理发布出来。 #############################可爱的分割线################################### 1.1 Dependency Parsing 依存句法分析就是表示句子中...

1. Neural Networks: Foundations 1.1 A Neuron（单个神经元） [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-3AJ830bE-1589083782343)(evernotecid://331CA178-4507-4573-914C-34BF843F1D8C/appyinxiangcom/26093810/ENResource/p53)] 1.2 A Single Layer of Neurons（多个神经元的单层网络） [外链图片转