本文介绍了如何使用Python实现Transformer模型进行时间序列预测。Transformer模型由Google在2017年提出，以其创新的注意力机制解决了循环神经网络在序列预测上的效率问题。模型主要特点是全基于注意力，舍弃了递归和卷积。通过多头注意力机制来补偿减少的内部特征，并保持encoder-decoder框架。文中提及的参考资料提供了深入理解Transformer设计和预测的资源。
时间序列预测 | Python实现Transformer时间序列数据预测
基本介绍
Transformer模型最初由Google团队于2017年提出并应于机器翻译，其抛弃了传统循环神经网络提取序列信息的方式，开创性的提出了注意力机制实现快速并行，改进了循环神经网络训练慢的缺点。
该模型的特点：完全基于注意力机制，完全摒弃了递归和卷积。
- 它是一种模型架构，避免了递归，而是完全依赖于注意力机制来绘制输入和输出之间的全局依赖关系。
self-attention：有时也被称为内部注意，是一种将单个序列的不同位置联系起来以计算序列的表示形式的注意机制。
较于传统基于RNN/CNN的网络，减少了内部特征，因此用多头注意来抵消该影响，但该模型仍采用encoder-decoder框架。
Transformer设计
<
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
