A Federated Large Language Model for Long-Term Time Series Forecasting

本文是LLM系列文章，针对《A Federated Large Language Model for Long-Term Time Series Forecasting》的翻译。

摘要

集中式环境中的长期时间序列预测在数据隐私、通信开销和可扩展性方面提出了独特的挑战。为了应对这些挑战，我们提出了 FedTime，这是一种专为长期时间序列预测而定制的联合大语言模型 (LLM)。具体来说，我们引入了具有微调和对齐策略的联合预训练LLM。在学习过程之前，我们采用 K 均值聚类将边缘设备或客户端划分为不同的集群，从而促进更有针对性的模型训练。我们还结合了通道独立性和修补功能，以更好地保留本地语义信息，确保保留重要的上下文细节，同时最大限度地降低信息丢失的风险。我们通过对各种现实世界预测基准的广泛实验证明了 FedTime 模型的有效性，展示了相对于最新方法的实质性改进。此外，我们还展示了 FedTime 在简化资源使用方面的效率，从而减少了通信开销。

1 引言

2 相关工作

3 方法

4 实验

5 结论

我们引入了 FedTime，这是一种用于长期时间序列预测的联合大型语言模型。 FedTime 利用联合学习，确保去中心化模型训练，同时维护边缘设备之间的数据隐私。我们的实证评估强调了 FedTime 在长期时间序列预测方面相对于集中式和联合基线的优越性，证明了跨不同数据集的显着性能增强。此外，FedTime 通过优化模型更新的传输来解决通信开销挑战，从而最大限度地减少资源消耗，同时提高预测准确性。总而言之，FedTime 提供了一种多功能且高效的解决方案，可以在去中心化环境中的隐私保护、通信效率和