计算机与数学领域的学习、分享、交流。

例如，当前为状态8，接受字符u进行状态转移，转移失败后，从根结点到当前结点的字符串为she，其最长后缀为he，所以状态8的fail指针指向状态3。3）接受下一个字符r，从状态8按字符r转移，转移失败，按虚线所指方向转移至状态3，从状态3按r转移，可成功转移至状态6。4）接受下一个字符u，状态6按字符u转移，转移失败，按虚线所指方向跳转至根状态，从根状态按字符u转移，转移失败，保持根状态不变。1）接受字符h，从根状态按字符h转移，转移失败，构建一个新状态结点，即图中的1号结点，当前状态变为状态1；

假如我们把字典中的词以记录的形式（无序）存入数据库中。现给定一串字符，要查找该字符串是否为字典中的词。因为数据库中的记录是无序的，所以，最朴素的方法就逐记录匹配。此方法简单，但是效率不高。因为每次匹配都必须从首字符开始。当然，可以将数据库中的记录按字符编码进行排序。这样，首字相同的词的记录都聚集在某个区间，匹配首字时直接跳至首字所处的区间开头即可，其它字符的匹配以此类推。其实这种方法的思想就是前缀匹配的思想。但是用数据库实现比较麻烦，可以用字典树这种数据结构来实现。

人们在对话中，除了句子本身的意思外，还常常隐含一些常识。许多端到端的对话模型是基于对话历史来生成回复。这种模型并没有显性地学习对话历史中隐含的常识。或者说，模型可能不知道对话历史中隐含的某些常识。有些研究者提出基于知识扩充的对话模型（knowledge-augmented Response Generation, RG）。其中大多数需要用到外部知识库（Knowledge Base, KB）。主要采取让模型从知识库中检索与对话历史有关联的知识的方法，然后利用检索得到的知识来辅助生成Response。这类方.

概率图模型简单的说，就是用图来表示概率模型。它是一种通用化的有确定性知识表示和处理方法。在概率图模型的表达中，结点表示随机变量，结点之间直接相连的边表示随机变量之间的概率关系。贝叶斯网络是一种基于概率推理的数学模型，其理论基础是贝叶斯公式。一个贝叶斯网络就是一个有向无环图，结点表示随机变量，可以是可观测是、隐含变量、未知参量或假设等；结点之间的有向边表示条件依存关系，箭头指向的结点依存于箭头发出的结点（父结点）。以经济状况、房地产销售额、空调销售额三个随机变量为例，构建一个简单的贝叶斯网络。图-1上图展示了

智能问答是NLP领域落地最多的场景，其商业价值较高，能有效解决业务问题，降低人力成本。智能问答分为封闭域问答与开放域问答两种。封闭域的问答是指根据用户的问题，从已有问答库中找出最匹配的答案返回给用户。而开放域问答则是根据用户的问题，由模型根据已学会的知识生成相应的答案返回给用户。由于当前开放域问答存在回答不可控的问题，在工业界落地项目较少。而封闭域问答是NLP领域中落地最多的项目之一。封闭域问答最常见的形式是FAQ问答，即常见问题解答。在NLP中，对FAQ任务的解决方案是，将用户会遇到的常见问题收集起来构建

注意力机制在NLP领域中有广泛的应用，诸如机器翻译、智能对话、篇章问答等。在模型设计中使用注意力机制，可以显著提升模型的性能。然而，对于初识注意力机制的朋友来说，可能会有这样的疑问：自然语言处理中说的注意力机制到底是啥？它与我们大脑中的注意力有何联系？它是如何实现的？面对诸多疑问，本文将用通俗的语言来解开这些困惑。本文首先简单介绍一下认知神经学中的注意力。接着，详细解说NLP领域常见的三种注意力机制：Bahdanau注意力、Luong注意力和自注意力（self-attention）。最后，对几种注意力机制进

在自然语言研究领域，某些自然语言处理任务可能利用“预训练模型+任务描述”方式的无监督学习来解决。然而，这种无监督学习方法不如有监督学习方法效果好。此篇论文将二者的想法相结合，提出了一种基于模板（Pattern）的半监督小样本学习方法。论文的贡献主要有两个：1）提出基于模板的半监督训练方法（PET）；2）提出通过模型融与迭代（iPET）训练多个模型，然后用训练好的多个模型给无标签数据集打软标签（soft label），以扩充标注数据集。