weixin_40245436的博客

     Transformer改进了RNN最被人诟病的训练慢的缺点，利用self-attention机制实现快速并行。并且Transformer可以增加到非常深的深度，充分发掘DNN模型的特性，提升模型准确率。在本文中，我们将研究Transformer模型，把它掰开揉碎，理解它的工作原理。   Transformer由论文《Attention is All You Need》提出， 首先 ...

在获得文本之后   将所有字母转换为小写或大写   目录 在获得文本之后 将所有字母转换为小写或大写 将数字转换为单词或删除数字 删除标点、重音符号和其他音调符号 删除空格 扩展缩写词 删除停止词、稀疏词和特定词 文本规范化---单词减为词干、词根或词干的过程 词性标记 分块是一种自然的语言过程，用于识别组成部分把句子（名词、动词、形容词等）联系起来具有离散语法意义的顺...

论文：Learned in Translation: Contextualized Word Vectors Cove(麦卡恩等人，2017年)，是上下文词向量（Contextual Word Vectors）的缩写，是一种由机器翻译领域中的Seq2Seq + Attention模型的Encoder学习得到的word embedding。与传统的word embedding不同，CoV...

原始论文：Deep contextualized word representations ELMO，是Embedding from Language Model的缩写( Peters等人，2018年)，通过无监督预训练多层双向LSTM模型来学习带上下文信息的（Contextualized）单词表示。 双向语言模型 双向语言模型( bi-LM )是ELMO的基础。模型...

原始论文：Semi-Supervised Sequence Modeling with Cross-View Training 在ELMO中，两个独立的模型在两个不同的训练阶段进行无监督的预训练和task-specific的有监督地学习。Cross-View训练(Cross-View Training，CVT；Clark等人，2018 )将两个训练阶段组合成一个统一的半监督学习过程，其中...

nlp翻译语言模型评价标准 机器翻译BLEU Perplexity详解------公式解释-----意义