大语言模型用于金融领域时间序列预测，真的有效吗？

作者：老余捞鱼

原创不易，转载请标明出处及原作者。

写在前面的话：
       本文主要探讨了大型语言模型（LLMs）在时间序列预测任务中的有效性，其对大语言模型在时间序列预测中的有效性提出了质疑，并且针对当下最为先进的OneFitsAll、Time-LLM、LLaTA这3个基于大语言模型的时间序列预测模型展开了实验，结果发现，将大语言模型的部分替换成一个 attention 网络，竟然能够获得相同甚至更为出色的效果。

一、摘要与引言 (Abstract & Introduction)

1.1 摘要

       摘要部分提出了对大型语言模型（LLMs）在时间序列预测任务中有效性的质疑。通过一系列消融研究，作者发现在流行的基于LLM的时间序列预测方法中，移除或替换LLM组件不仅不会降低预测性能，而且在多数情况下还能提高结果。此外，尽管计算成本显著，预训练的LLMs并没有比从头开始训练的模型表现得更好，也没有展现出对时间序列数据中序列依赖性的表示能力，且在少量样本的学习场景中也没有提供帮助。研究还探索了时间序列编码器，并发现使用拼接和注意力结构的简单模型能够达到与LLMs相似的预测性能。这些发现揭示了当前时间序列预测文献中令人担忧的趋势，并指出了现有方法在利用预训练语言模型的固有推理能力方面所存在的不足。

1.2 引言

       本章强调了时间序列分析在多个关键领域如疾病传播、零售销售、医疗保健和金融预测中的重要性，并指出了近期研究中将预训练的大型语言模型（LLMs）应用于时间序列分类、预测和异常检测的趋势。

       作者质疑这些通常在文本中表现出色的语言模型是否能够泛化到时间序列数据的序列依赖性上，并探讨了这些模型在传统时间序列任务中的实际益处，提出了本文研究的主要问题：即这些流行的适应语言模型于时间序列预测的方法是否真的比基本的模型改进更有益处，尤其是在计算成本显著增加的情况下。

二、相关工作 (Related Work)