Large Language Models for Time Series: A Survey

已于 2024-04-02 10:01:26 修改
阅读量473 收藏
点赞数 10
CC 4.0 BY-SA版权
分类专栏： Survey Paper Time series 文章标签： 语言模型 人工智能 自然语言处理
于 2024-04-02 10:01:05 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/137259619
Survey Paper 同时被 3 个专栏收录
275 篇文章 ¥99.90 ¥299.90
订阅专栏 超级会员免费看
LLM 日更
828 篇文章

已下架不支持订阅

Time series
18 篇文章
订阅专栏

本文是LLM系列文章，针对《Large Language Models for Time Series: A Survey》的翻译。

时间序列的大型语言模型综述

摘要

大型语言模型在自然语言处理和计算机视觉等领域有着重要的应用。LLM超越了文本、图像和图形，在分析时间序列数据方面具有巨大潜力，有利于气候、物联网、医疗保健、交通、音频和金融等领域。这篇调查论文对利用LLM的力量进行时间序列分析所采用的各种方法进行了深入的探索和详细的分类。我们解决了弥合LLM的原始文本数据训练与时间序列数据的数值性质之间的差距这一固有挑战，并探索了将LLM中的知识迁移和提取到数值时间序列分析的策略。我们详细介绍了各种方法，包括（1）LLM的直接提示，（2）时间序列量化，（3）对齐技术，（4）将视觉模态用作桥接机制，以及（5）LLM与工具的组合。此外，这项调查全面概述了现有的多模式时间序列和文本数据集，并深入探讨了这一新兴领域的挑战和未来机遇。我们维护一个最新的Github存储库，其中包括调查中讨论的所有论文和数据集。

1 引言

2 背景和问题定义

3 分类

4 分类学中的比较

5 多模态数据集

6 挑战与未来方向

7 结论

我们提出了第一项调查，系统地分析了从大型语言模型迁移知识用于数字时间序列分析的分类：直接提示、时间序列量化、对齐、使用视觉模态连接文

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Large Language Models for Time Series A Survey
youpccc的博客
04-05 554
大型语言模型在自然语言处理和计算机视觉等领域有着重要的应用。LLM超越了文本、图像和图形，在分析时间序列数据方面具有巨大潜力，有利于气候、物联网、医疗保健、交通、音频和金融等领域。这篇调查论文对利用LLM的力量进行时间序列分析所采用的各种方法进行了深入的探索和详细的分类。我们解决了弥合LLM的原始文本数据训练与时间序列数据的数值性质之间的差距这一固有挑战，并探索了将LLM中的知识迁移和提取到数值时间序列分析的策略。
Time Series Management Systems: A Survey
乔的博客
02-25 794
今天分享一篇时序数据库Survey，《Time Series Management Systems: A Survey》，2017 年 TKDE 的。作者Søren K...
UCLA最新！大模型时序推理和Agentic系统的全面综述
最新发布
CV_Autobot的博客
09-28 166
这篇综述不仅首次为“时间序列推理”给出了清晰的定义，更构建了一套覆盖“推理结构-任务目标-技术特征”的三维分类框架，系统梳理了领域内的研究成果、数据集与基准，并明确指出了未来的核心挑战与研究方向。在时间序列生成任务中，BRIDGE通过多智能体团队的协作，生成可控的合成序列。未来的时间序列推理，将不再追求“窄范围的高精度”，而是向“大规模的可靠性”迈进——系统不仅能在实验室环境中表现出色，更能在金融、医疗、能源等关键领域中，基于可追溯的证据，生成可信的结果，真正实现“理解、解释、并作用于动态世界”。
论文阅读-《A Survey of Large Language Models》
Yogurtboyyy的博客
06-08 2269
LLM综述论文
Time-Series Data Mining Survey
07-26
当前最新最全面的时间序列数据挖掘的研究综述，ACM Survey
AI论文速读 | 【综述】（LLM4TS）大语言模型用于时间序列
suzukiwudi的博客
02-25 3786
大型语言模型 (LLM) 在自然语言处理和计算机视觉等领域得到了广泛应用。除了文本、图像和图形之外，LLM还具有分析时间序列数据的巨大潜力，使气候、物联网、医疗保健、交通、音频和金融等领域受益。这篇综述论文对利用LLM进行时间序列分析的各种方法进行了深入的探索和详细的分类。强调了法学硕士原始文本数据训练与时间序列数据的数值性质之间差距的固有挑战，并探索将LLM知识迁移和蒸馏到数值时间序列分析的策略。
Large Language Models: A Survey大模型综述论文章节总结
weixin_45320238的博客
10-12 563
其他LLM模型：FLAN、Gopher、ERNIE 4.0、Retro、LaMDA、ChinChilla、Galactia-120B、CodeGen、BLOOM、Zephyr、Grok-0、ORCA-2、StartCoder、MPT、Mixtral-8x7B、Falcon 180B、Gemini。GPT： 仅解码器，GPT-1、GPT-2、GPT-3、InstrucGPT、ChatGPT、GPT-4、CODEX和WebGPT。LLM缺点：没有内存、回答概率性、过时的信息、训练成本大、产生幻觉。
时间序列的大模型研究综述-IJCAI
weixin_43057295的博客
02-25 1348
大型语言模型（LLM）在自然语言处理、计算机视觉等领域有着广泛的应用。超越文本、图像和图形，LLM为时间序列数据分析提供了巨大的潜力，使气候、物联网、医疗保健、交通、音频和金融等领域受益匪浅。本调查文件提供了一个深入的探索和各种方法的详细分类，用于利用的权力，为时间序列分析的LLMs。我们解决了在LLMs的原始文本数据训练和时间序列数据的数值性质之间的差距的内在挑战，并探索了从LLMs到数值时间序列分析的知识转移和提取的策略。
【时间序列综述】Transformer in Time Series：A Survey 论文笔记
Henry_Zhao10的博客
09-02 6463
本文是IJCAI 2023一篇有关Transformer在时间序列任务中应用的综述论文的阅读笔记
Deep Learning for Time Series Anomaly Detection: A Survey 阅读笔记
qq_45579784的博客
11-17 1466
Deep Learning for Time Series Anomaly Detection: A Survey(2024.10) 阅读笔记。
第一个！时间序列大模型！
强化学习曾小健
04-13 3434
TimeGPT是Nixtla公司研发的一个用于预测任务的智能模型。这个模型采用了生成式预训练Transformer技术，有自我关注机制和局部位置编码。它由很多层的编码器和解码器组成，每个部分都有残差连接和层归一化，使得预测更准确。TimeGPT这个模型很强大，它可以处理不同频率和特征的时间序列，也能适应不同大小的输入和预测范围。最厉害的是，它只需要用历史数据作为输入，不用再次训练，就能对新的时间序列进行准确的预测。
多机器人系统的大语言模型：综述
yorkhunter的博客
02-13 1264
25年2月来自 Drexel 大学的论文“Large Language Models for Multi-Robot Systems: A Survey”。 大语言模型 (LLM) 的快速发展为多机器人系统 (MRS) 开辟新的可能性，从而增强通信、任务规划和人机交互。与传统的单机器人和多智体系统不同，MRS 带来独特的挑战，包括协调、可规模化和现实世界的适应性。本综述首次全面探索 LLM 与 MRS 的集成。其系统地对应用进行分类，涵盖高级任务分配、中级运动规划、低级动作生成和人为干预。重点介绍不同领域
TimeGPT-1——第一个时间序列数据领域的大模型他来了
Together_CZ的博客
11-01 2819
TimeGPT-1——第一个时间序列数据领域的大模型他来了
LLMs：《Large Language Models A Survey综述调查》翻译与解读—概述了早期预训练语言模型发展史→介绍了3个流行的LLM家族及其它代表性模型→构建、增强和使用LLM的方法和
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
02-16 2846
​ LLMs：《Large Language Models A Survey综述调查》翻译与解读—概述了早期预训练语言模型发展史→介绍了3个流行的LLM家族及其它代表性模型→构建、增强和使用LLM的方法和技术→数据集和基准→未来方向和挑战 目录 《Large Language Models A Survey大型语言模型的综述调查》翻译与解读 Abstract摘要 I. INTRODUCTION引言 II. LARGE LANGUAGE MODE
【LLM+时间序列分析】Position Paper: What Can Large Language Models Tell Us about Time Series Analysis
Arachis_X的博客
03-12 1522
时间序列分析对于理解各种现实世界系统和应用中固有的复杂性至关重要。虽然大型语言模型（LLMs）最近取得了长足进步，但具备时间序列分析能力的人工通用智能（AGI）的发展仍处于初级阶段。大多数现有的时间序列模型严重依赖于领域知识和大量的模型调整，主要侧重于预测任务。在本文中，我们认为目前的LLM有可能彻底改变时间序列分析，从而促进高效决策，并向更普遍的时间序列分析智能形式迈进。这种进步会带来广泛的可能性，包括模式切换和时间序列问题解答。
Large Models for Time Series and Spatio-Temporal Data: A Survey and Outlook
qq_41200212的博客
07-30 1214
时态数据，包括时间序列和时空数据，在现实世界的应用中极为广泛。这些数据类型记录了动态系统随时间变化的测量值，通常由物理和虚拟传感器产生。对这些数据进行深入分析至关重要，因为它们蕴含着丰富的信息，能够为多种下游任务提供支持。近年来，大语言模型和其他基础模型的快速发展，极大地推动了这些模型在时间序列和时空数据挖掘中的应用。这些方法不仅提升了跨领域模式识别和推理的能力，也为构建能够理解和处理时间数据的通用人工智能奠定了基础。数据类型、模型类别、模型应用范围和应用领域/任务。
时序大模型整理-论文+对比
qq_42854305的博客
09-25 8614
Timer是一个由清华大学提出的大型时间序列模型（Large Time Series Model, LTSM），它基于Transformer的解码器-only结构，通过在大规模真实世界时间点上进行生成式预训练，获得了任务通用的时序分析模型。MOMENT是由卡内基梅隆大学（CMU）Auton实验室的研究团队开发的一款开源的时间序列基础模型，旨在解决时间序列分析中的一些挑战，特别是在数据多样性和预训练模型评估基准方面的挑战。能力，能够在没有微调的情况下处理复杂的时间序列任务。架构的时间序列预测基础模型，名为。
综述 | 最新整理！面向时间序列和时空数据的大模型
数据派THU
12-16 883
本文约11000字，建议阅读10+分钟 本文是一篇关于时间序列和时空数据的大模型的调查综述。时间数据，特别是时间序列和时空数据，在现实世界的应用中普遍存在。这些数据捕获动态系统的测量值，并由物理和虚拟传感器大量产生。分析这些数据类型对于利用它们所包含的丰富信息至关重要，从而有益于各种下游任务。近年来，大语言模型和其他基础模型的进步促使这些模型在时间序列和时空数据挖掘中的使用不断增加。这些方法不仅增...
大型语言模型综述，非常详细，格局打开！A Survey of Large Language Models
大模型天花板
04-18 9534
从图灵测试开始讲起，人类一直在探索用机器掌握语言智能的方法。在过去20年，语言模型得到了广泛研究。从统计语言模型到了基于神经网络的语言模型（LSTM等）。最近这些年，通过在大规模语料库（数据集）上对Transformer模型的预训练，提出了预训练语言模型（PLMs），在解决各种自然语言处理（NLP）任务方面显示出了很强的能力。
KnowledgeNavigator: Leveraging Large Language Models for Enhanced Reasoning over Knowledge Graph
09-22
《KnowledgeNavigator: Leveraging Large Language Models for Enhanced Reasoning over Knowledge Graph》聚焦于利用大型语言模型增强知识图谱推理。大型语言模型（LLM）在复杂推理和问答（QA）任务中的知识限制方面存在局限性，而KnowledgeNavigator框架利用知识图谱中的外部知识来增强LLM推理[^4]。 该框架主要包括三个阶段：问题分析、知识检索和推理。在问题分析阶段，预测推理跳数，生成相似的问题，以增强推理逻辑挖掘；知识检索阶段，根据给定的问题和大语言模型指导，从知识图谱中迭代检索和过滤相关知识；推理阶段，将检索到的知识转化为对LLM有效的提示，以此增强其推理能力。并且该框架在KGQA基准测试中优于以前的知识图谱增强LLM方法[^4]。 ```python # 以下为简单示意框架各阶段伪代码 # 问题分析 def question_analysis(question): # 预测推理跳数 hop_count = predict_hop_count(question) # 生成相似问题 similar_questions = generate_similar_questions(question) return hop_count, similar_questions # 知识检索 def knowledge_retrieval(question, llm_guide, knowledge_graph): relevant_knowledge = [] # 迭代检索和过滤相关知识 for step in range(max_steps): new_knowledge = retrieve_and_filter(question, llm_guide, knowledge_graph) relevant_knowledge.extend(new_knowledge) return relevant_knowledge # 推理 def reasoning(relevant_knowledge, llm): prompt = convert_to_prompt(relevant_knowledge) result = llm.generate(prompt) return result ```
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值