bobobe的专栏

attention模型基本框图

论文2014EMNLP：Convolutional Neural Networks for Sentence Classification。文章提出将卷积神经网络运用到文本分类任务，并且取得了目前最好的效果。模型网络结构如论文中所示：具体解释如下：CNN最先应用到图像领域，而在文本上，由于文本没有类似图像的通道(channel)一说，比如彩色图像通常未R,G,B三通道。文本中的c...

实体和关系抽取目前应该大体分为两种方式：底层网络共享，上层网络输出分开（实体和关系），损失函数加起来。改变标签体系，从而让实体和关系一起输出，不用再分开输出。...

Going out on a limb: Joint Extraction of Entity Mentions and Relations without Dependency Trees背景作者在2016年发表的论文：”Investigating LSTMs for Joint Extraction of Opinion Entities and Relations“联合抽取了opin...

这篇论文是意见实体和关系联合抽取。作者称这是第一次尝试把深度网络用到意见实体和关系联合抽取上。以前利用crf等的传统联合抽取方法太依赖众多特征。opinion analysis所谓“意见分析(opinion analysis)","is to identify subjective expressions in text along with their associated sourc...

这篇论文应该算是实体和关系联合抽取的开山鼻祖。结构从上图可以看出，网络结构主要包含三部分：embedding layerembedding主要有4部分，word embedding，pos embedding，dependency embedding（依赖关系），label embedding（预测出的实体label）。sequence layersequence layer...

todo

双向RNN共享权值图：

这是2016 ACL的一片论文。本文主要介绍了attention机制在文本分类上的应用。作者提出了分层的attention。sentence level attention： 每个句子对整篇文章的类别贡献不一样，所以给sentence添加attention机制，可以有权重地选择哪个sentence对文章的贡献。word level attention： 再细分，每个sentence包含...

来源：NIPS 2015 本文介绍了decode时采样的一种新方法，称为“curriculum learning”（课程学习），对应的采样方法叫做“scheduled sampling”（计划采样）。传统方法的问题：传统的神经网络训练时和预测时的输入不一样。 比如对于上图这种网络结构，训练时上一步的y是真实序列标记，然后做为输入到下一步，而预测时上一步的y是模型的输出，然后再做为下一...

下面几张图摘录自：CIPS2016 中文信息处理报告nlp整体架构 词法分析中文分词 句法分析 语义分析

这篇是2017年CL收录的论文。 本文提出了一种新的实体分类(EC)和关系抽取(RE)的方法。如果对BiLSTM+crf有一定了解的话理解这篇论文就容易得多，因为他的整体思想是基于BiLSTM+crf的。 作者提出关系抽取对命名实体的识别有很大的作用，比如可以消除歧义问题，如mercedes可以是person，location，organization，但当提取出关系（live-in）后，就可...

从信息论交叉熵的角度看softmax/逻辑回归损失

CRF++是CRF算法的一个实现。 它最重要的功能我认为是采用了特征模板。这样就可以自动生成一系列的特征函数，而不用我们自己生成特征函数，我们要做的就是寻找特征，比如词性等。特征模板 特征模板就是为了生成特征函数。在crf++中有unigram和bigram两种模板。首先看训练文件格式： 这里每一列是一个特征（比如这里第一列是句子本身的特征（一个个字），第二列是词性特征，第三列是o...

本篇文章假设你已有lstm和crf的基础。BiLSTM+softmax lstm也可以做序列标注问题。如下图所示： 双向lstm后接一个softmax层，输出各个label的概率。那为何还要加一个crf层呢？ 我的理解是softmax层的输出是相互独立的，即虽然BiLSTM学习到了上下文的信息，但是输出相互之间并没有影响，它只是在每一步挑选一个最大概率值的label输出。这样就会导...

本论文的主要任务是跨领域的关系抽取，具体来说，利用某个领域的数据训练好的关系抽取模型，很难去直接抽取另一个领域中的关系，比如我们拿某个领域训练好的模型，把另一个领域的数据直接输入整个模型，很难抽取出来正确的实体关系。这主要是因为源领域和目标领域特征表达的不同，在源领域的某个特征，在目标领域可能表达相反的意思。而为了在领域迁移时可以直接利用模型，而不用再训练一次，本论文提出了一种新的跨领域关系抽取模...