论文阅读系列
关注
分享
扫一扫
SummerHmh
这个作者很懒，什么都没留下…
展开
-
《Neural Relation Extraction with Selective Attention over Instances》阅读笔记
发展Most existing supervised RE systems大部分已有监督关系抽取系统需要大量标注的训练样本，这个过程又耗时又耗人力。distant supervision ( 2009 )假设：两个实体如果在知识库中存在某种关系，则包含这两个实体的非结构化句子均能表示出这种关系；作用：可以通过对齐知识库和文本自动产生训练数据不足：假设过于肯定，引入大量的噪声数据...原创 2019-05-27 17:05:53 · 465 阅读 · 0 评论 -
《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》浅析
开头强推一篇，写得很赞：https://cloud.tencent.com/developer/article/1389555原创 2019-06-12 18:04:16 · 221 阅读 · 0 评论 -
《ERNIE: Enhanced Language Representation with Informative Entities》浅析
文章目录摘要发展模型解析微调应用效果（待复现）展望GELU摘要现有的大规模预料训练的语言表征模型（如BERT）能够很好的从文本中获取丰富的语义模型，进行微调后能够提升各种NLP任务。然而这些模型几乎不考虑知识图谱，知识图谱能够为语言理解提供丰富的结构化信息。本文通过外部知识增强语言表达，同时利用大规模语料库和知识图谱，充分利用词汇、句法和知识信息。发展预训练语言表征模型包括基于特征的和基于...原创 2019-06-06 16:18:06 · 1881 阅读 · 1 评论 -
《Style Transformer: Unpaired Text Style Transfer without Disentangled Latent Representation》浅析
文章目录摘要发展模型问题描述步骤模型训练机制代码解析效果摘要传统的文本样式转换通常是通过分解隐空间中的内容和风格的方式。这种方式存在如下两种问题：很难从句子的语义中完全剥离样式信息基于编解码器模式的RNN难以保持长程依赖，导致内容保真度有损本文提出一种不用隐空间假设，基于注意力机制的模型——Style Transformer，能够较好的保持文本内容，同时很好的转化文本风格发展文本...原创 2019-06-19 14:01:19 · 2563 阅读 · 0 评论 -
月结——Transformer之上的一些故事
文章目录Transformer模型解释BertERNIEStyle TransformerTransformer传统seq2seq的问题一般用CNN或者RNN的方式来处理，将seq编码为一个固定长度的向量然后再进行解码。因为固定长度向量所能表征的信息有限，因此对于长序列来说，前面的信息容易被埋没，即具有长程依赖问题，同时这种方式是顺序执行，使得没有办法进行并行计算。于是，google的大神们，...原创 2019-06-30 20:17:46 · 239 阅读 · 0 评论