Semantic-Enhanced Time-Series Forecasting via Large Language Models

一、论文主要内容总结

该论文聚焦于利用大型语言模型（LLMs）解决时间序列预测问题，针对现有基于LLM的时间序列预测方法存在的模态差距、短期异常建模能力弱、计算成本高等问题，提出了语义增强型LLM（SE-LLM）框架，具体内容如下：

1. 研究背景与现有问题

时间序列预测在金融、能源、气象和物联网等领域应用广泛。近年来，基于Transformer的LLMs因具备强大的泛化能力，被用于时间序列预测，但存在以下关键问题：

• 模态差距：现有方法多关注令牌级模态对齐，未弥合语言知识结构与时间序列数据模式间的内在模态差距，导致语义表征质量低。
• 建模缺陷：Transformer-based LLMs擅长捕捉长期依赖关系，但对时间序列中的短期异常建模能力较弱。
• 噪声与成本问题：引入文本信息辅助预测时，易产生噪声且增加计算成本；全参数微调会破坏LLMs的泛化能力，导致预测性能不稳定。

2. SE-LLM框架核心组件

SE-LLM通过两个关键组件解决上述问题，同时冻结LLM主干以降低计算消耗、减少令牌序列维度：

• 时间-语义互相关模块（TSCC）