weixin_41089007的博客

原理篇：https://blog.youkuaiyun.com/weixin_41089007/article/details/106604465前段时间写了一篇关于几种改进的embedding算法的代码

最近看论文的时候发现好几篇改进词向量的小论文，方法虽然不复杂但是都挺有意思的，可能在工业界的某些任务上有奇效，分享一下~1.平均加权词向量paper：https://arxiv.org/abs/2002.05606方法先，分别用word2vec和glove计算出各个单词的词向量，后将其归一化：其中，d代表word2vec或者glove词向量的尺寸d1或d2，w是word2vec或glove算法输出的单词的向量，表示归一化的单词向量。 然后将评论的评论向量r计算为标准化单词向量的平均值

paper链接：https://arxiv.org/abs/2005.14165github链接：https://github.com/openai/gpt-3摘要通过对大量文本进行预训练，然后对特定任务进行微调，最近的工作证明了在许多NLP任务和基准方面的巨大收获。尽管在结构上通常与任务无关，但是此方法仍然需要特定于任务的微调数据集，该数据集包含成千上万个示例。相比之下，人类通常只能通过几个示例或简单的指令来执行新的语言任务——当前的NLP系统在很大程度上仍难以做到这一点。在这里，我们证明了扩

写在前面自从BERT出现以来，越来越多的优秀的预训练模型如雨后春笋般层出不穷，这给我们处理NLP任务带来了极大的便利，身处这么一个时代，能随意使用这些预训练模型无疑是很舒适的一件事情，但是预训练模型的使用也有着不少技巧，一些好的模型策略甚至能带来显著意义上的性能提升。博主最近也是赋闲在家，闲来无事就去kaggle打了个情感抽取的比赛：Tweet-Sentiment-Extraction，刚好总结一下看到的一些提升性能的策略。主要参考文献：1.新手入门 Kaggle NLP类比赛总结：https:

写在前面最近发现了一个有关新冠疫情的数公开据集，CORD-19。CORD-19是有关COVID-19和相关历史冠状病毒研究的不断增长的科学论文资源。 CORD-19旨在通过其丰富的元数据和结构化全文本来促进文本挖掘和信息检索系统的开发。 自发布以来，CORD-19已下载超过75,000次，并已成为许多COVID-19文本挖掘和发现系统的基础。 在本文中，我们描述了数据集构建的机制，重点介绍了挑...

说来惭愧，BERT等预训练模型用来做下游任务做了这么久了，居然一直不知道怎么用未标注数据训练它们，这里以BERT为例子介绍一下如何使用自己的未标注数据快速训练预训练模型。其实也很简单，BERT的github上面就有：https://github.com/google-research/bert分为两步，第一步：准备一个txt文件，这个文件就是你要训练BERT的自己的数据。训练的目的其实就是...

FastBERT: a Self-distilling BERT with Adaptive Inference Time写在前面：这是北大+腾讯+北师大的ACL2020。作者提出了一种新的inference速度提升方式，sample-wise adaptive mechanism，相比单纯的student蒸馏有更高的确定性，且可以自行权衡效果与速度，简单实用。这篇论文的方法可以说就是为了...

Pre-trained Models for Natural Language Processing: A Survey写在前面：随着2018年ELMo、BERT等模型的发布，NLP领域进入了“大力出奇迹”的时代。采用大规模语料上进行无监督预训练的深层模型，在下游任务数据上微调一下，即可达到很好的效果。曾经需要反复调参、精心设计结构的任务，现在只需简单地使用更大的预训练数据、更深层的模型便...

首先声明，这篇文章并不是要跟踪最新技术，而是要收集与广泛任务相关的最佳实践。换句话说，该文章不是描述一个特定的体系结构，而是旨在收集构成成功的体系结构的功能。尽管这些功能中的许多功能对于推动最新技术最有用，但我希望对它们的广泛了解将导致更强大的评估，与基准的更有意义的比较以及通过塑造我们对工作原理的直觉而获得启发。词嵌入词嵌入的最佳维数主要取决于任务：较小的维数对语法较多的任务（如命名实体...