2025_NIPS_Time Series as Images: Vision Transformer for Irregularly Sampled Time Series

文章总结与翻译

一、主要内容

本文针对不规则采样时间序列（尤其在医疗领域广泛存在）的建模难题，提出了一种名为ViTST（Vision Time Series Transformer）的极简方法。该方法核心是将多元不规则采样时间序列转换为折线图图像，再利用预训练视觉Transformer（如Swin Transformer、ViT）进行分类，本质是借鉴人类通过可视化分析时间序列的思路，将视觉领域的成熟技术迁移到时间序列建模中。

文章通过多组实验验证了方法的有效性：在医疗数据集P19、P12和人类活动数据集PAM上，ViTST的AUROC、AUPRC、准确率、F1分数等指标均超越现有专门针对不规则时间序列设计的SOTA算法；在“留传感器”（leave-sensors-out）测试场景中（模拟传感器失效），即使50%变量被屏蔽，ViTST的F1分数仍比最优基线提升42.8%，展现出极强的鲁棒性；同时该方法在规则时间序列数据集上也取得了与专门算法相当的优异结果，证明了其通用性。

此外，文章还通过消融实验分析了图像转换策略（插值、标记、颜色、变量排序）、骨干视觉模型选择、网格布局与图像尺寸等因素对性能的影响，验证了方法的稳定性和灵活性。

二、创新点

1. 视角创新：时间序列的图像化转换：首次将不规则采样时间序列转换为标准化RGB折线图图像，规避了传统方法对时间序列不规则性的复杂处理，无需专业领域知识设计专用算法，极大简化了建模流程。
2. 跨领域迁移：视觉Transformer的复用：成功将自然