mataolc的博客

TabNet是一种新的高性能和可解释的经典深度表格数据模型架构，继承了树方法的优点 (可解释性和稀疏特征选择)，又继承了DNN的优点 (表征学习和端对端训练)

这是一篇探讨时间序列预测中是否需要使用深度学习模型的论文。在论文中，作者通过对传统预测模型和深度学习模型的比较，发现深度学习模型并不总是更有效，而且在某些情况下，传统模型如Gradient Boosting Regression Tree (GBRT) 可能表现得更好。该论文的贡献在于提供了一种新的视角来看待时间序列预测问题，并提出了一个有价值的比较研究，有助于指导实际应用中选择合适的模型。

直接将MLP-Mixers使用到时序领域效果不佳，本文提出了TSMixer模型，TSMixer是patching-based，并且可以作为一个通用的backbone来用来学习时序的patch表征。

论文提出一种基于Transformer的多变量时序预测及自监督表示学习的模型。基于两个关键部分：（1）将时序分割成子序列级别的patch，作为Transformer的输入token；（2）通道独立性，其中每个通道包含一个单变量时间序列，该时间序列在所有序列中共享相同的Embedding和 Transformer 权重。

论文提出了名为FEDformer的时序预测模型，通过在模型中结合季节趋势分解，以及利用傅立叶分析，在频域中使用Transformer，从而使模型更好的捕获时间序列的全局信息，进而取得更好的预测效果。

本论文主要探索长期时间序列预测，该问题对于模型的预测能力及计算效率有着很强的要求。论文提出了基于深度分解架构和自相关机制的Autoformer模型。通过渐进式分解和序列级连接，大幅提高了长时预测效果和效率。

在时序预训练任务中，面临一个难点，不同领域数据集不太好找到一个共同的先验假设，因为不同数据集的频率、周期性、平稳性差异都很大。这导致了在时序领域做预训练和迁移学习的难度。本文提出了一个基本假设：一个时间序列的频域表示和时域表示应该在时序表征隐空间中相近。基于这个假设，本文提出了Time-Frequency Consistency (TF-C)的自监督表示学习架构，综合考虑序列在时域和频域的表征，进而更好的进行预训练学习。

Transformer模型在长时间序列预测问题（LSTF）中存在计算量N方的问题，长序列输入的内存瓶颈问题，以及预测长输出时的训练速度的骤降问题。本问题提出了Informer模型来优化上述问题

本篇论文是N-Beats模型的改进，主要解决长时间序列预测有两个常见的难点，一是预测结果的波动性大，二是计算复杂度高。本篇论文在N-BEATS模型的基础上，提出了一种新的模型N-HiTS，通过引入Hierarchical Interpolation和multi-rate data sampling技术来解决上述两个问题。

论文提出了使用简单的线性模型来进行时间序列预测，效果超过了Transformer-based SOTA模型效果。长时序预测(LTSF)领域最近出现了很多Transformer-based 模型，由于Transformer是基于自注意力机制来有效提取长序列中成对元素之间的语义相关性的，在一定程度上具有permutation-invariant和anti-ordering的性质。而对于时间序列建模，主要是提取一系列有序且连续的点的时间相关性，因此顺序往往很重要。

论文提出了MTS混合器，它使用两个因子化模块来捕获时间和信道相关性。在多个真实数据集上的实验结果表明，MTS Mixer以更高的效率优于现有的基Transformer的模型。

本文创新地将一维时间序列转化至二维空间进行分析，并进一步提出了任务通用的时序基础模型——TimesNet，在长时、短时预测、缺失值填补、异常检测、分类五大主流时序分析任务上实现了全面领先。

本篇论文扩展了NBEATS模型，通过包括外部变量来扩展其功能，并允许其集成多个有用信息源，由此产生的称为NBEATSx的方法。

时空数据预测任务，尤其是交通数据，近来被广泛的学习，因为交通预测是ITS最重要的组成部分之一，对日常生活有着极大的影响时空数据结构在现实生活中也很有代表性：基于位置的数据例如风能站，天气监控站和发射塔等都可视为时空数据结构GNN在交通时序预测中已经取得了一些成绩，但是还存在以下缺点通过含不完全的邻接连接的空间图结构表示能力有限，限制了这些模型有效地学习时空相关性。通常使用单独的模块来实现空间和时间相关性，或者只使用独立的组件来捕获局部或全局的异质依赖关系的方法在处理复杂的时空数据时效果不好。

本篇论文提出的是一种数据规范化的方法，命名为“可逆实例规范化” （reversible instance normalization，**RevIN**）。具体来说，RevIN包含两部分，规范化和逆规范化，首先在数据输入模型前，将数据进行规范化，然后经过模型学习后得到模型输出，最后对模型输出进行反规范化。RevIN是一种灵活的，端到端的可训练层，能够被应用到任意模型层。