Rosalind_Xu的博客

参考链接：浅谈Attention机制的理解模型汇总24 - 深度学习中Attention Mechanism详细介绍：原理、分类及应用Attention机制详解（一）——Seq2Seq中的AttentionIntuition类似于人的注意力机制。在观察某幅图像时，人不会将注意力平均的分散到图像的每一处，而是根据需求重点关注特定的某一部分。当我们发现图像的某一部分经常出现我们需要...

记录从零到实现CRF+LSTM的整个过程查找概述，了解实现的过程【1h30min】建立模型【3h】背景知识NER神经网络成为可以有效处理许多NLP任务的模型。这类方法对于序列标注任务（如CWS、POS、NER）的处理方式是类似的，将token从离散one-hot表示映射到低维空间中成为稠密的embedding，随后将句子的embedding序列输入到RNN中，用神经网络自动提取特...

记录对于Bert的了解从无到有的过程，完善ingDay1 [2.5h] 看博客简介，大概了解BERT做什么的、在哪里创新、模型的大概架构博客入门背景知识预训练模型目标是输出单词的表示。包括两大类，context-free或者是contextual，前者无论在什么语境下都会输出相同的表达，典型为word2vec；后者会与语境有关。Vaswani et al. (2017) 中描述的原...

统计机器翻译机器翻译概述机器翻译方法直接翻译将单词、短语或者是句子直接置换成为目标语言译文。基于规则的转换翻译方法独立分析-独立生成-相关转换将输入文本抽象成为内部表达形式，转换成为目标语言内部表达形式，然后再生成目标语言文本。优点在于可以较好的保持原文结构，产生的译文结构与源文结构关系密切，对于语言现象已知、句法结构规范的源语言句子具有较强的处理能力；缺点是分析规则人工编写。...

词义消歧词义消歧又称之为词义标注，任务是确定一个多义词在给定的上下文语境当中的具体含义。发展概述早期多采用基于规则的分析方法；20世纪80年代以后，基于大规模语料库的统计机器学习方法在自然语言领域得到了广泛应用；除此之外，还有一个重要来源是基于词典信息的消歧方法。有监督的消歧方法当中，可以认为多义词的语义是与不同上下文进行对应的，所以说多义词的识别问题也就是词语的上下文分类问题；无监...

句法分析句法分析是指对于输入的单词序列判断其构成是否合乎给定的语法，如果是，继续分析出句子的结构，常用树状数据结构表示。基于规则的句法分析方法基本思路是由人工组织语法规则，建立语法知识库，通过条件约束和检查来实现语法结构歧义的消除。根据语法分析树形成方向的区别，分析方法可以划分成为三个类型：自顶向下的分析方法、自底向上的分析方法和两者相结合的分析方法。前者的劣势在于穷尽式拓展非终结符节点...

Backpropagation and computation graphs数学基础雅可比矩阵存在函数有n个输入，有m个输出。f(x)=f1(x1...xn)...fm(x1...xn)f(x)=f_1(x_1...x_n)...f_m(x_1...x_n)f(x)=f1​(x1​...xn​)...fm​(x1​...xn​)那么该函数的雅可比矩阵是一个m*n的矩阵，有：∂f∂xij...

汉语自动分词定义在汉语文本中的词与词之间自动加上空格或者其他边界标记。主要困难/基本问题词是什么，即汉语分词规范问题。由于没有同一清晰的界定标准，单字词与词素、词与短语之间的划界非常困难。词由于语境的不同而含义不同，导致划分方式也不同；即歧义切分问题。切分歧义类型可以分成交集型切分歧义、组合型切分歧义以及混合型。前者又可以称之为偶发歧义。形式为AJB，其中AJ可以组成词语、JB也...

Word Window Classification, Neural Networks, and Matrix CalculusPreview如何使用传统的ML/Stats方法进行分类？训练softmax或者是Logistic回归分类器决定决策边界。分类的损失函数使用什么？一般约定俗称的使用cross-entropy损失函数。...

Word Vectors and Word Senses预习随机梯度下降有什么应用价值，或者说比起普通的梯度下降有什么区别？J(θ)J(\theta)J(θ)是语料库中所有窗口的累乘结果，计算和更新一次所需要的计算量太过于巨大。随机梯度下降可以解决这个问题。迭代的每次仅仅取一个窗口的梯度，具体是怎么计算的？为什么使用两个vector来分别表示一个单词为中心单词还是处于上下文的单词？...

隐马尔可夫模型马尔可夫模型马尔可夫模型描述了什么？马尔可夫模型描述了一个每个随机变量的值都依赖于这个序列的前面的状态的随机过程。通常所说的马尔可夫模型是离散的一阶马尔科夫链，指的是系统在时间t下的状态，只与其在时间t-1时的状态有关系。用数学关系式来描述就是：P(qt=sj∣qt−1=si)=aijP(q_t=s_j|q_{t-1}=s_i)=a_{ij}P(qt​=sj​∣qt−1​...

语言模型n元语法语言模型是什么？语言模型通常构建为字符串s的出现概率。语言模型与句子是否符合语法是没有关系的，即使一个句子完全符合语法逻辑，我们仍然可以认为该句子出现的概率为0.语言模型的数学表示？P(s)=p(w1)p(w2∣w1)p(w3∣w1,w2)...p(wl∣w1...wl)P(s)=p(w_1)p(w_2|w_1)p(w_3|w_1,w_2) ... p(w_l|w_1...

语料库与词汇知识库语料库技术语料库是什么？语料库就是存放语言材料的数据库。语料库语言学就是根据语料库进行语言研究的一门学问，其中语料库这个修饰词代表的仅仅是一种手段。词汇知识库词汇知识库是什么？与语料库相对，是存放词汇相关知识的数据库。...

前言浏览本书的目的，是对于NLP领域统计方法建立一个大体的认知。所以很多地方不会详细展开，以弄懂思路为主。形式语言形式语言是什么？形式语言是用来精确的描述语言及其结构的手段。给定终结符、非终结符和规则，通过不断的推导，来得到句子。类似于编译器中的语法。形式语法有哪些类型？四种文法类型，约束逐渐减少。正则文法、上下文无关文法、上下文有关文法、无约束文法正则文法：规则右部替换之后...

Introduction and word vectors预习部分上完课回过头来需要问自己哪些问题？NLP中使用的核心方法有哪些，阐述对他们的理解。语言是如何产生的，产生和理解过程中有哪些困难。使用PyTorch搭建框架解决实际问题。P11的换算是什么意思？如何在电脑当中存储有用的含义？一般的解决办法是使用WordNet，用来存储同义词集和相关词集。这种方法的问题如下：无法识...