R

title: “ERNIE 2.0: A Continual Pre-Training Framework for Language Understanding, Yu Sun 2020” subtitle: date: 2021-01-18 author: xuqiurong tags: - 多任务学习 - 摘要：最近预训练模型在各种语言理解任务上达到了最先进的水平，目前的预训练程序通常集中在训练几种简单任务，来把握单词或者句子的共现，可是，除了共现信息**（？？？），在训练语料中还存在其他有价值的.

title: “ERNIE: Enhanced Representation through Knowledge Integration,Yu Sun 2020 【】” subtitle: “” date: 2021-1-15 author: “xuqiurong” tag： - language representation - 摘要：我们提出了一个新的语言表达模型，名为ERNIE（Enhanced Representation through Knowledge Integration）。 Re.

layout: post title: “Adversarial Transfer Learning for Chinese Named Entity Recognition with Self-Attention Mechanism, Pengfei Cao 2018 【ner+adversarial+self-attention】” subtitle: “” date: 2021-1-5 author: “xuqiurong” header-img: “” c.

2021-1-6 记录一个博主写的对《Attention is All You Need》的讲解，包括细化讲解 Attention Is All You Need简记(多头注意力、自注意力、层归一化、位置嵌入) transformer再记（编码器）

文章目录

论文笔记文章目录论文信息摘要what短语翻译模型decoder 解码器howresultsome notes 论文信息 论文 Statistical Phrase-Based Translation 作者 Philipp Koehn, Franz Josef Och, Daniel Marcu 来源 未知 年份 2003 分类 【SMT】 这是基于短语的统计翻译模型的一篇经典文章，也是清华大学NMT列出的十大必读文章之一。 摘要 本文提出一个新的基于短语的翻译模型和解码算

neural machine translation旨在建立和训练一个单独且大的神经网络，读入一个句子然后最大化翻译的性能 输出正确的翻译。最近提出的NMT模型都是encoder-decoder这种思想，将源句encode为一个fixed-length vector，然后decode为目标翻译结果。在这篇论文中，作者推测（conjecture）在encoder-decoder结构中使用fixed-length vector是提升翻译效果的瓶颈。 将所有的源句的信息压缩为一个fixed-length ve.

文章目录提出背景神经机器翻译NMT模型Global AttentionLocal attention 论文链接：Effective Approaches to Attention-based Neural Machine Translation By Luong et al. 2015 任务对齐（alignments between different modalities）：对齐是指比如在翻译任务中，翻译每个词的时候，要找多需要重点关注的原句中的词，也就是将原文中的词和目标文中的词对应起来。 对齐权

论文：Sequence to Sequence Learning with Neural Networks 作者：Ilya Sutskever，Oriol Vinyals，Quoc V. Le 补习知识：RNN，LSTM，SGD，beam search