然后就去远行

《BERT:Pre-training of Deep Bidirectional Transformers for Language Understanding》预训练的深度双向trandformer用于语义理解；作者：Jacob Devlin；单位：Google；发表会议及时间：2018；1、Bert研究意义获得了left-to-right和right-to-left的上下文信息；nlp领域正式开始pretraining+fine-tuning的模型训练方式；2、摘要论文提粗了

目录《Improving Langugage Understanding by Generative Pre-Tranining》1、GPT历史意义2、无监督预训练——通过大量未标记语料学习网络的初始参数3、Supervised Fine-Tuning4、Task-specific input transformations5、实验结果5.1 模型结构5.2 GPT模型在不同任务上的表现5.2.1 文本蕴含任务5.2.2 问答和知识推理任务5.2.3 语义相似度任务5.3 模型结果实验结果5.3.1 Dec

目录《Skip-Though Vector》 —— 跳跃思维句表示1、句表示简介1.1 基于词袋模型的句表示1.1.1 词袋模型1.1.2 词表示加权 -> 句表示1.2 基于神经网络的句表示1.2.1 语言模型1.2.2 doc2vec1.2.3 基于复述句匹配的句表示2、论文动机2.1 Skip-gram模型3、Skip-Thought模型3.1 Skip-Thought具体原理3.2 Skip-Thought模型损失函数3.3 未登录词处理4、实验结果4.1 语义相似性度量：两个句子的语义相似性

目录《Hierarchical Attention Network for Document Classification》—— 用于文本分类的层次注意力网络1、文本分类1.1 文本挖掘1.2 数据类型1.3 文本分类2、层次注意力网络2.1 基于GRU的词序列编码器：2.2 单词序列编码器2.3 单词注意力机制2.4 句子编码器2.5 句子注意力机制2.6 文档分类3、实验和结果3.1 数据集3.2 实验任务3.3 对比模型3.4 模型参数3.5 论文实验结果3.6 可视化分析4、总结4.1 论文主要创新

《Bag of Tricks for Efficient Text Classification》Fasttext：对于高效率文本分类的一揽子技巧作者：Armand Joulin（第一作者）单位：Facebook会议：EACL 20171、论文总览Abstract本文提出了一种简单并且高效的文本分类模型，我们模型的效果和其它深度学习模型相当，但是速度快了好几个数量级。1.1 Introduction文本分类是自然语言处理中非常重要的任务，基于深度学习的文本分类任务效果很好，但是速度很慢

1、词向量学习算法有两个主要的模型族：基于全局矩阵分解的方法，如LSA：优点：能够有效的利用全局的统计信息；缺点：在单词类比任务中（如国王VS王后类比于男人VS女人）中表现相对较差；基于局部上下文窗口的方法，如word2vec：优点：在单词类比任务中表现较好；缺点：因为word2vec在独立的局部上下文窗口上训练，因此难以利用单词的全局统计信息；GloVe结合了LSA算法和word2vec算法的优点，即考虑了全局统计信息又利用了局部上下文。2、GloVe模型原理用P(wj∣wi)P(w

目录摘要(Abstract)1、介绍(Introduction)2、背景(Background)3、模型体系结构(Model Architecture)3.1 编码器和解码器堆叠(Encoder and Decoder Stacks)3.2 注意力(Attention)3.2.1 缩放点乘注意力机制(Scaled Dot-Product Attention)3.2.2 多头注意力机制（Multi-...

《Convolutional Neural Networks for Sentence Classification》作者：Yoon Kim单位：New York University发表会议及时间：EMNLP 20141、文本分类简介文本分类，指的是给定分类体系，将文本分类到某个或者几个类别中。根据其目标类别的数量，文本分类涵盖了二分类、多分类、多标签分类等常见分类场景。文本分类是计...

1、上节回顾1.1 机器翻译的概念和发展1.2 神经机器网络相关技术1.3 前期知识储备2、论文整体框架2.1 摘要神经机器翻译的任务定义；传统神经机器翻译所用的编码器-解码器模型的缺陷；本文提出一种能够自动搜索原句中与预测目标词相关的神经机器翻译模型；所提出的模型的效果；2.2 介绍2.2.1 传统模型详解：介绍改进前的RNNenc模型机器翻译就是计算机将一种语言转换...

《Neural Machine Translation by Jointly Learning to Align and Translate》——基于联合学习对齐和翻译的神经机器翻译作者：Dzmitry Bahdanau，KyungHyun Cho，Yoshua Bengio单位：不莱梅雅克布大学，蒙特利尔大学发布会议及时间：ICLR 20151、机器翻译简介1.1 机器翻译机器...

Distributed Representations of Sentences and Documents（句子和文档的分布式表示学习）作者：Quoc Le and Tomas Mikolov单位：Google发布会议及时间：ICML 2014第一课时：论文导读1、句子分布式表示简介句子分布式表示：句子的分布式表示就是将一个话或者一段话（这里将句子和文档同等看待，文档相当于较长的...

1、为啥不采用one-hot向量       \space \space \space \space \space \space \space       假设词典中不同词的数量（词典大小）为N，每个词可以和从0到N-1的连续整数一 一对应。这些与词对应的整...

《Efficient Estimation of Word Representations in Vector Space》作者：Tomas Mikolov, Kai Chen, Greg Corrade, Jeffrey Dean单位：谷歌论文来源：ICLR 2013第一课时：论文导读（1）语言模型在自然语言处理研究的早期，人们试图整理出关于自然语言处理的语法，并且根据这些语法去...

Deep Learning (深度学习)作者：Yann Lecun, Yoshua Bengio, Geoffery Hinton单位： FAIR， NYU， UMontreal， Utoronto， Google发表会议及时间：《Nature》杂志1、论文作者简介2019年3月27日，美国计算机协会（ACM）宣布把2018年的图灵奖（Turing Award）颁给人工智能科学家Yosh...