A Survey on Time-Series Pre-Trained Models

原创已于 2023-07-19 18:22:09 修改 · 1.1k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#人工智能 #语言模型

于 2023-07-19 17:11:09 首次发布

LLM 日更同时被 2 个专栏收录

828 篇文章

已下架不支持订阅

Time series

18 篇文章

订阅专栏

本文详述了时间序列预训练模型（TS-PTM）的最新进展，旨在解决深度学习模型对大量标记数据的依赖。TS-PTM分为监督、无监督和自监督三大类，涉及时间序列分类、预测和异常检测任务。实验分析表明，基于Transformer的PTM在时间序列预测和异常检测中有优势，但在时间序列分类中仍有挑战。未来的研究方向包括大规模时间序列数据集、Transformer在时间序列的应用以及对抗性攻击等。

本文是LLM系列的文章，针对《A Survey on Time-Series Pre-Trained Models》的翻译。

摘要

时间序列挖掘在实际应用中显示出巨大的潜力，是一个重要的研究领域。基于大量标记数据的深度学习模型已成功用于TSM。然而，由于数据注释成本的原因，构建大规模标记良好的数据集是困难的。近年来，预训练模型由于其在计算机视觉和自然语言处理方面的卓越表现，逐渐引起了时间序列领域的关注。在这项综述中，我们对时间序列预训练模型（TS-PTM）进行了全面的回顾，旨在指导对TS-PTM的理解、应用和研究。具体来说，我们首先简要介绍TSM中使用的典型深度学习模型。然后，我们根据预训练技术对TS-PTM进行了概述。我们探索的主要类别包括有监督的、无监督的和自我监督的TS-PTM。此外，还进行了大量的实验来分析迁移学习策略、基于Transformer的模型和具有代表性的TS-PTM的优缺点。最后，我们指出了TS-PTM未来工作的一些潜在方向。源代码位于https://github.com/qianlima-lab/time-series-ptms.

1 引言

作为数据挖掘领域的一个重要研究方向，时间序列挖掘（TSM）已被广泛应用于现实世界中的应用，如金融、语音分析、动作识别和交通流预测。TSM的基本问题是如何表示时间序列数据。然后，可以基于给定的表示来执行各种挖掘任务。由于严重依赖领域或专家知识，传统的时间序列表示（例如，shapelets）非常耗时。因此，自动学习适当的时间

了解本专栏