- 博客(2)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 阅读笔记 -- ELECTRA: PRE-TRAINING TEXT ENCODERS AS DISCRIMINATORS RATHER THAN GENERATORS
本文的主要贡献：将BERT与类似于GAN的结构相结合，并辅以新的预训练任务来做预训练 – 在更少的参数量和数据下，效果超越BERT，并且仅用1/4的算力就达到了SOTA模型RoBERTa的效果：Introduction：当下流行的MLM（Masked Language Modeling）方法会大大增加计算开销，原因：模型只学到每个example中15%的tokens信息，而且有些token...
2019-11-21 17:28:19
2324
3
原创 阅读笔记：Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer
阅读笔记：Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义...
2019-11-18 10:45:41
2430
2
transfer.pdf
谷歌最新发布的NLP预训练模型T5：基于BERT，并做了大量的实验。谷歌最新发布的NLP预训练模型T5：基于BERT，并做了大量的实验。谷歌最新发布的NLP预训练模型T5：基于BERT，并做了大量的实验。谷歌最新发布的NLP预训练模型T5：基于BERT，并做了大量的实验。谷歌最新发布的NLP预训练模型T5：基于BERT，并做了大量的实验。
2019-11-18
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人