DeepMind Sebastian Ruder: 2020 年 ML & NLP 领域十大研究热点

ML and NLP Research Highlights of 2020, Sebastian Ruder,
https://ruder.io/research-highlights-2020/

1. Scaling up—and down
2. Retrieval augmentation
3. Few-shot learning
4. Contrastive learning
5. Evaluation beyond accuracy
6. Practical concerns of large LMs
7. Multilinguality
8. Image Transformers
9. ML for science
10. Reinforcement learning

DeepMind 科学家 Ruder 解读 | 2020 年 ML & NLP 领域十大研究热点

https://mp.weixin.qq.com/s/P4gl4h2rqgc8-PG9mVdfSQ

1. 模型的扩展（向上）与压缩（向下）

2. 检索增强

3. 少样本学习

4. 对比学习

5. 评估，不止准确率

6. 大规模LM的现实问题

7. 多语言

8. 图Transformers

9. ML在科学中的应用

10. 强化学习