今天给大家介绍一篇关于大模型在时间序列应用探讨的工作。这篇文章质疑大语言模型在时间序列预测中是否有效，并对目前最先进的3个基于大语言模型的时间序列预测模型进行实验，发现去掉大语言模型部分，改成一个attention网络，也能取得相同甚至更优的效果。
论文标题：Are Language Models Actually Useful for Time Series Forecasting?
下载地址：https://arxiv.org/pdf/2406.16964v1
1
背景
随着大语言模型的兴起，一些工作也将其应用到时间序列预测领域。这类方法一般基于预训练好的NLP领域的语言模型，将时间序列转换成文本形式输入其中，通过finetune大模型，产出预测结果。典型的代表工作包括OneFitsAll、Time-LLM、LLaTA等工作。
本文质疑的点就是大语言模型在时间序列预测中是否真的有效。通过一系列的对目前先进的大语言模型的实验来看，引入大语言模型并不和提升效果，甚至会降低效果，并且白白浪费了更多的计算资源。
2
实验方法
本文对3个目前业内最先进的基于大语言模型的时间序列预测方法进行实验，分别是OneFitsAll、Time-LLM、LLaTA。
OneFitsAll：OneFitsAll是基于GPT4的时序预测模型，将时间序列归一化并进行patch处理后，输入预训练GPT4中，finetune其中的position embedding和layer norm参数，其他参数freeze；
Time-LLM：Time-LLM将时间序列转换成token后映射到低维表征，和数据集描述等信息拼接后输入到预训练大模型中，大模型的输出结果再输入到一个线性层进行生成预测结果；
LLaTA：模型分为文本分支和时序分支，文本分支部分将原始时间序列和大模型的word embedding对齐后，输入到大模型中，生成文本表征。时序分支基于原始时间序列数据，使用一个adpater对预训练大模型进行finetune，同时将时序分支和文本分支的表征拉近作为辅助任务。
在实验方法上，针对上述3个大模型时序预测模型，采用如下方法进行消融实验，鉴别大模型在其中的作用。第一种是w/o LLM，直接将大模型部分去掉。第二种是LLM2Attn，将大模型改成一个参数随机初始化multi-head attention结构。第三种是LLM2Trsf，将大模型部分改成一个随机初始化的Transformer结构。通过对比这三种方式和原始模型的效果，就可以分辨出大模型的参数是否对时间序列预测起到作用。
3
实验结果
下表展示了一个基础的消融实验效果图。从图中可以看出，Time-LLM、LLaTA、OneFitsALL等模型中，将大语言模型部分直接改成Transformer，在不同的数据集上效果并没有明显下降。在一些数据集上效果反而提升了。消融模型的效果，所有case上都超过了Time-LLM，22个case超过了Time-LLM，19个数据集超过了OneFitsALL。这说明在这些方法中，预训练的大语言模型并没有发挥什么特别重要的作用。
除了预训练参数外，文中对比了大模型所增加的计算开销，性价比是否足够高。文中的消融实验的模型参数量要小于大模型本身的参数量。通过实验对比来看，大模型耗费更多的inference时间，但是效果却不如消融实验的效果。
如何学习大模型
现在社会上大模型越来越普及了，已经有很多人都想往这里面扎，但是却找不到适合的方法去学习。
作为一名资深码农，初入大模型时也吃了很多亏，踩了无数坑。现在我想把我的经验和知识分享给你们，帮助你们学习AI大模型，能够解决你们学习中的困难。
我已将重要的AI大模型资料包括市面上AI大模型各大白皮书、AGI大模型系统学习路线、AI大模型视频教程、实战学习，等录播视频免费分享出来，需要的小伙伴可以扫取。
一、AGI大模型系统学习路线
很多人学习大模型的时候没有方向，东学一点西学一点，像只无头苍蝇乱撞，我下面分享的这个学习路线希望能够帮助到你们学习AI大模型。
二、AI大模型视频教程
三、AI大模型各大学习书籍
四、AI大模型各大场景实战案例
五、结束语
学习AI大模型是当前科技发展的趋势，它不仅能够为我们提供更多的机会和挑战，还能够让我们更好地理解和应用人工智能技术。通过学习AI大模型，我们可以深入了解深度学习、神经网络等核心概念，并将其应用于自然语言处理、计算机视觉、语音识别等领域。同时，掌握AI大模型还能够为我们的职业发展增添竞争力，成为未来技术领域的领导者。
再者，学习AI大模型也能为我们自己创造更多的价值，提供更多的岗位以及副业创收，让自己的生活更上一层楼。
因此，学习AI大模型是一项有前景且值得投入的时间和精力的重要选择。
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
