51、高效Transformer架构与基于实例的学习方法

高效Transformer架构与基于实例的学习方法

1. 高效Transformer架构

在处理序列数据时，有多种高效的Transformer架构被提出，以下是一些常见的架构：
- Performer ：由Choromanski等人在2020年提出。
- Linformer ：由Wang等人在2020年提出。
- Linear Transformer ：由Katharopoulos等人在2020年提出。
- Set Transformer ：由Lee等人在2019年提出。
- Transformer - XL ：由Dai等人在2019年提出。
- Memory Compressed ：由Liu等人在2018年提出。
- ETC ：由Ainslie等人在2020年提出。
- Sparse Transformer ：由Child等人在2019年提出。
- Image Transformer ：由Parmar等人在2018年提出。
- Routing Transformer ：由Roy等人在2020年提出。
- Synthesizer ：由Tay等人在2020年提出。
- Lon