Decennie的博客

Seq2Seq中的beam search算法

文章目录0. Introduction1. SRL定义2. 语料、语义角色3. 传统SRL方法4. 基于神经网络的SRL0. Introduction在自然语言处理中，从分析技术上可以分为下面三种词法分析 lexical analysis句法分析 syntactic parsing语义分析 semantic parsing1. SRL定义Semantic Role Labeling (SRL) is defined as the task to recognize arguments

文章目录1. Introduction1.1 问题陈述1.2 解决办法1.3 论文贡献2. 模型2.1 符号表示2.2 模型架构2.3 Knowledge Layer2.4 Embedding Layer2.4.1 Token Embedding2.4.2 Soft-position Embedding2.4.3 Segment Embedding2.5 Seeing Layer2.6 Mask-Transformer2.6.1 Mask-Self-Attention3. 实验结果3.1 预训练语料库3.2

文章目录0. 背景1. 介绍2. 背景3. 实验设置3.1 配置3.2 数据3.3 评估4. 训练过程分析4.1 Static vs Dynamic Masking4.2 Model Input Format and NSP4.3 Training with large batches4.4 Text Encoding5. RoBERTa5.1 GLUE上的结果5.2 SQuAD上的结果5.3 RACE上的结果6. 总结0. 背景机构：Facebook & 华盛顿大学作者：Yinhan Liu

文章目录0. 摘要1. Introduction2. 背景：BERT3. Model3.1 Span Masking3.2 Span Boundary Objective (SBO)3.3 Single-Sequence Training4. 实验设置4.1 任务4.1.1 Extractive Question Answering4.1.2 Coreference Resolution4.1.3 Relation Extraction4.1.4 GLUE4.2 实现4.3 Baselines5. 实验结果

文章目录1. Abstract2. Introduction3. ALBert模型组成3.1 参数缩减方法3.2 SOP预训练任务4. 实验设置4.1 Segments-Pair4.2 Masked-ngram5. 实验结果5.1 Bert与ALBert对比5.2 嵌入向量的因式分解5.3 跨层参数共享5.4 句子次序预测(SOP)在NLP任务中，一个好的预训练模型能够提升模型的效果。当前一个SOTA的模型，它有几百万或者十亿以上的参数，如果要扩大模型规模，就会遇到这些计算机内存上的限制，同时训练速度会受

BERT, GPT, ELMo之间的不同点关于特征提取器:ELMo采用两部分双层双向LSTM进行特征提取, 然后再进行特征拼接来融合语义信息.GPT和BERT采用Transformer进行特征提取.BERT采用的是Transformer架构中的Encoder模块.GPT采用的是Transformer架构中的Decoder模块.很多NLP任务表明Transformer的特征提取能力强于LSTM, 对于ELMo而言, 采用1层静态token embedding + 2层LSTM, 提取特征的能力

GPT-2详解

目录1. 导读2. 引言3. 论文动机与创新点4. GPT模型5. Pre train6. Fine-tuning7. Task-specific input transformations8. 实验结果1. 导读今天阅读的是 OpenAI 2018 年的论文《Improving Language Understanding by Generative Pre-Training》，截止目前共有 600 多引用。在这篇论文中，作者提出了一种半监督学习方法——Generative Pre-Training

Transformer 详解

目录1. Language Model Embedding1.1 Feature-based方法1.2 Fine-tuning方法2.BERT模型介绍3. 预训练3.1 Masked Language Model3.2 Next Sentence Prediction3.3 模型输入3.4 模型训练3.4.1 数据组成3.4.2 训练参数3.4.3 两种模型选择5. Fine-tuning6. BERT与GPT7. 实验结果7.1 9项GLUE任务: `General Language Understand