sigmeta的博客

How to Fine-Tune BERT for Text Classification 论文笔记论文地址：How to Fine-Tune BERT for Text Classification？BERT在NLP任务中效果十分优秀，这篇文章对于BERT在文本分类的应用上做了非常丰富的实验，介绍了一些调参以及改进的经验，进一步挖掘BERT的潜力。实验主要在8个被广泛研究的数据集上进行，在...

Attention Is All You Need 论文笔记本文主要讲述Self-Attention机制+Transformer模型。自己看过论文与其他人文章的总结，不是对论文的完整翻译。论文原文翻译可看这篇，翻译质量还可以。关于Attention的讲解可以看这里：Visualizing A Neural Machine Translation Model (Mechanics of S...

QANet 论文笔记文章目录QANet 论文笔记摘要简介模型1. Input embedding layerword embeddingcharacter embedding2. Embedding encoder layer(1) position encoding(2) depthwise separable convolutions(3) self-attention(4) feed-f...