31、从自然语言处理到任务无关的Transformer模型及AI副驾驶的崛起

从自然语言处理到任务无关的Transformer模型及AI副驾驶的崛起

1. 模型的不断涌现

新的Transformer模型几乎每周都会出现，就像新的智能手机一样。以下是一些令人瞩目的模型及其面临的挑战：
| 模型名称 | 特点 | 相关链接 | 面临挑战 |
| — | — | — | — |
| ERNIE | 持续预训练框架，在语言理解方面成果显著 | 论文链接 | Hugging Face提供的模型是否完整？是否是百度训练以在SuperGLUE排行榜上超越人类基线的模型？能否获取最佳模型？运行AutoML在小版本模型上的目的是什么？在百度平台或类似平台获取该模型的成本是多少？ |
| SWITCH | 采用稀疏建模优化的万亿参数模型 | 论文链接 | 论文很棒，但模型在哪里？能否获取真正完全训练好的模型？成本是多少？ |
| Megatron - Turing | 5000亿参数的Transformer模型 | 博客链接 | 是否能通