NLP大模型如何应用到时间序列?5类方法大汇总!

时间序列分类总结(time-series classification) 时间序列分类总结(time-series classification)一、传统方法(需要手工设计)1、DTW(dynamic time warping)& KNN2、基于特征的方法二、深度学习1、MLP、FCN、ResNet2、LSTM_FCN、BiGRU-CNN3、MC-CNN(multi-channel CNN)、MCNN(multi-scale CNN)参考文献  &nb... 阅读详情

近期,加利福尼亚大学发表了一篇时间序列大语言模型工作综述,这篇文章主要介绍的是将NLP领域预训练好的大语言模型应用到时间序列预测领域的方法总结,总结了5种类型NLP大模型应用于时间序列领域的方法。下面给大家介绍一下这篇总结的5种方法。

图片

论文标题:Large Language Models for Time Series: A Survey

下载地址:https://arxiv.org/pdf/2402.01801.pdf

图片

1

基于Prompt的方法

这种直接利用prompt的方式让模型针对时间序列数据输出结果,文中列举了一些之前的prompt方法,基本思路就是预训练定义一个prompt文本,把时间序列数据填充进来,让模型直接生成预测结果。例如下面的例子中,构造了一段文本,描述这个时间序列的具体任务,然后将时间序列的数据填充到文本中,让模型生成时间序列的预测结果。

图片

这种方式将时间序列的数字直接视为文本的一部分,涉及到数字的tokenize问题,一些工作针对数字的tokenize特别加入了每个数字之间的空格,让数字能更清晰的区分出来,避免词典中对数字区分的不合理问题。

2

离散化

这类方法将时间序列进行离散化处理,将连续的数值转换为离散的id化结果,以适配NLP大模型的输入形式。例如,一种方法是借助Vector Quantized-Variational AutoEncoder(VQ-VAE)技术,将时间序列映射成离散的表征。VQ-VAE是一种VAE基础上的autoencoder结构,VAE通过Encoder将原始输入映射成表征向量,再通过Decoder还原原始数据。而VQ-VAE则保证了中间生成的表征向量是离散化的。根据这个离散化表征向量构造成一个词典,实现时间序列数据离散化的映射。另一种方法是基于K-means的离散化,利用Kmeans生成的质心将原始的时间序列离散化。另外再一些工作中,也将时间序列直接转换成文本,例如在一些金融场景中,将每天的涨价、降价等信息直接转换成相应的字母符号作为NLP大模型的输入。

图片

3

时间序列-文本对齐

这类方法借助到多模态领域的对齐技术,将时间序列的表征对齐到文本空间,以此实现时间序列数据直接输入到NLP大模型的目标。

在这类方法中,一些多模态对齐的方法被广泛应用其中。一种最典型的就是基于对比学习的多模态对齐,类似CLIP,使用时间序列编码器和大模型分别输入时间序列和文本的表示向量,然后使用对比学习拉近正样本对之间的距离,在隐空间对齐时间序列数据和文本数据的表征。

另一种方法是基于时间序列数据的finetune,以NLP大模型作为backbone,在此基础上引入额外的网络适配时间序列数据。这其中,LoRA等跨模态finetune的高效方法比较常见,冻结backbone的大部分参数,只对小部分参数进行finetune,或者引入少量的adaptor参数进行finetune,以达到多模态对齐的效果。

图片

4

引入视觉信息

这种方法比较少见,一般是将时间序列和视觉信息建立联系,再将利用图像和文本已经经过比较深入研究的多模态能力引入进来,为下游任务提取有效的特征。例如ImageBind中对6个模态的数据进行统一的对齐,其中就包括时间序列类型的数据,实现多模态的大模型统一。一些金融领域的模型,将股票的价格转换成图表数据,再配合CLIP进行图文对齐,生成图表相关的特征用于下游的时间序列任务。

5

大模型工具

这类方法不再对NLP大模型进行模型上的改进,或者改造时间序列数据形式进行大模型适配,而是直接将NLP大模型当成一个工具,解决时间序列问题。例如,让大模型生成解决时间序列预测的代码,应用到时间序列预测上;或者是让大模型调用开源的API解决时间序列问题。当然这类方式就比较偏向实际应用了。

最后,文中总结了各类方法的代表工作以及代表数据集:

图片

图片

​

如何学习大模型

现在社会上大模型越来越普及了,已经有很多人都想往这里面扎,但是却找不到适合的方法去学习。

作为一名资深码农,初入大模型时也吃了很多亏,踩了无数坑。现在我想把我的经验和知识分享给你们,帮助你们学习AI大模型,能够解决你们学习中的困难。

我已将重要的AI大模型资料包括市面上AI大模型各大白皮书、AGI大模型系统学习路线、AI大模型视频教程、实战学习,等录播视频免费分享出来,需要的小伙伴可以扫取。

一、AGI大模型系统学习路线

很多人学习大模型的时候没有方向,东学一点西学一点,像只无头苍蝇乱撞,我下面分享的这个学习路线希望能够帮助到你们学习AI大模型。

在这里插入图片描述

二、AI大模型视频教程

在这里插入图片描述

三、AI大模型各大学习书籍

在这里插入图片描述

四、AI大模型各大场景实战案例

在这里插入图片描述

五、结束语

学习AI大模型是当前科技发展的趋势,它不仅能够为我们提供更多的机会和挑战,还能够让我们更好地理解和应用人工智能技术。通过学习AI大模型,我们可以深入了解深度学习、神经网络等核心概念,并将其应用于自然语言处理、计算机视觉、语音识别等领域。同时,掌握AI大模型还能够为我们的职业发展增添竞争力,成为未来技术领域的领导者。

再者,学习AI大模型也能为我们自己创造更多的价值,提供更多的岗位以及副业创收,让自己的生活更上一层楼。

因此,学习AI大模型是一项有前景且值得投入的时间和精力的重要选择。

时间序列的大模型研究综述-IJCAI 大型语言模型(LLM)在自然语言处理、计算机视觉等领域有着广泛的应用。超越文本、图像和图形,LLM为时间序列数据分析提供了巨大的潜力,使气候、物联网、医疗保健、交通、音频和金融等领域受益匪浅。本调查文件提供了一个深入的探索和各种方法的详细分类,用于利用的权力,为时间序列分析的LLMs。我们解决了在LLMs的原始文本数据训练和时间序列数据的数值性质之间的差距的内在挑战,并探索了从LLMs到数值时间序列分析的知识转移和提取的策略。 阅读详情

相关推荐

第一个!时间序列大模型!

TimeGPT是Nixtla公司研发的一个用于预测任务的智能模型。这个模型采用了生成式预训练Transformer技术,有自我关注机制和局部位置编码。它由很多层的编码器和解码器组成,每个部分都有残差连接和层归一化,使得预测更准确。TimeGPT这个模型很强大,它可以处理不同频率和特征的时间序列,也能适应不同大小的输入和预测范围。最厉害的是,它只需要用历史数据作为输入,不用再次训练,就能对新的时间序列进行准确的预测。

具身机器人和通用AI 3829

利用大模型进行时序数据预测

大模型,即大语言模型(LLM),指大规模语言模型(LLM)是指包含数千亿(或更多)参数的Transformer语言模型。这些模型是在大规模文本数据上进行训练的,例如GPT-3,PaLM和LLaMA。LLM展现了理解自然语言和解决复杂任务(通过文本生成)的强大能力。目前,LLM以Transformer为主要架构,Transformer相对于传统的RNN架构,所有token可以同时捕捉长距离依赖关系,其中大量运算为矩阵可以更好的并行处理序列0中数据,在处理自然语言文本时会表现出很好的性能。

weixin_49020292的博客 8085

OpenWRT端口转发与NAT环回冲突的排查与解决

本文详细解析了OpenWRT路由器中端口转发与NAT环回功能冲突导致的内网访问故障。通过生活化类比阐明两者工作原理,提供从基础诊断到内核参数调整、LuCI选项配置及手动编写iptables规则的多套解决方案,并给出进阶排查思路,帮助用户彻底解决内网无法通过公网地址访问服务的常见问题。

weixin_29243279的博客 507

TIME-LLM 详解:如何用大语言模型预测时间序列?

TIME-LLM 所解决的核心问题是如何在不微调语言模型本体的前提下,利用其强大的预训练能力完成通用的时间序列预测任务。我们将整个问题建模为一个典型的监督学习任务,其输入是一段历史的多变量时间序列,输出为未来一段时间的预测值。具体而言,给定一个输入矩阵X∈RN×TX∈RN×T,表示一个长度为TTT的时间序列,其中包含NNN个不同的一维变量(如温度、电量、访问量等),模型的目标是学习一个映射函数f⋅f(\cdot)f⋅,将历史观测序列X\mathbf{X}X。

weixin_46351593的博客 3821

STK之Commu模块之三仿真卫星通信链路参数计算

考虑上述衰减的影响,可以得到卫星接收机输入端的载波功 [C] = [PT] +[GT] +[GR] -[L] -[L1] -[L2] (

juanhuokang2681的博客 8267

AD9361数字调制入门:从IQ调制原理到动手实现第一个ASK信号(Vivado工程详解)

本文详细介绍了如何使用AD9361射频收发器实现ASK数字调制,从IQ调制原理到Vivado工程实现。通过Verilog代码示例和FPGA架构设计,帮助开发者理解纯逻辑实现数字调制解调的关键技术,特别适合软件无线电(SDR)初学者入门实践。

weixin_29158047的博客 374

如何给大模型喂时序数据?基于LLMs的时间序列预测5大方法汇总

大模型可以从时间序列数据中提取关键特征,整合来自不同数据源的信息,包括文本和图像,从而提供更全面、更准确的时间序列预测。这其中,由于LLMs原始文本数据与时间序列数据存在数值特性之间的差距,如何将时间序列数据输入大模型就成为了实现LLMs在时间序列预测领域应用的关键性问题。为提供解决思路,本文介绍,包括直接提示LLMs、时间序列量化、对齐技术、利用视觉模态作为桥梁机制,以及将LLMs与工具结合使用。每种方法的都整理了,方便各位作参考。论文和代码需要的同学看文末。

学姐带你玩AI的博客 1万+

保姆级教程:用CH34xSerCfg工具修改USB转串口芯片的VID/PID,避免驱动冲突

本文详细介绍了如何使用CH34xSerCfg工具修改USB转串口芯片的VID/PID,解决驱动冲突问题。通过实战案例和配置技巧,帮助开发者高效管理嵌入式设备,避免常见的USB设备识别问题,提升开发效率。

weixin_30924239的博客 224

大模型应用开发-华为大模型生态规划

华为云盘古大模型调研

1837

YOLOv11【第六章:模型压缩与极致优化篇·第15节】YOLOv11 专用剪枝工具库使用指南!

🏆 本文收录于专栏 《YOLOv11实战:从入门到深度优化》。本专栏围绕 YOLOv11 的改进、训练、部署与工程优化 展开,系统梳理并复现当前主流的 YOLOv11 实战案例与优化方案,内容目前已覆盖 分类、检测、分割、追踪、关键点、OBB 检测 等多个方向。

**My Coding Family** 1312

深度强化学习 | 基于DQN实现Flappy Bird游戏与分析

在Flappy Bird中,玩家需要通过控制小鸟安全穿过随机长度的水管来得分。本文基于深度Q网络DQN来实现Flappy Bird游戏的自主探索与学习

FRIGIDWINTER的博客 5913

第一个!时间序列大模型!_大模型 时间序列分析

TimeGPT是Nixtla公司研发的一个用于预测任务的智能模型。这个模型采用了生成式预训练Transformer技术,有自我关注机制和局部位置编码。它由很多层的编码器和解码器组成,每个部分都有残差连接和层归一化,使得预测更准确。TimeGPT这个模型很强大,它可以处理不同频率和特征的时间序列,也能适应不同大小的输入和预测范围。最厉害的是,它只需要用历史数据作为输入,不用再次训练,就能对新的时间序列进行准确的预测。

2401_84208172的博客 2128

SAP 系统和银行系统通过 SM2 加密算法进行集成

SM2 是基于椭圆曲线离散对数问题(ECDLP)的一种公钥密码算法。椭圆曲线加密的核心原理,是利用了一个数学难题:在椭圆曲线群上,已知曲线上两点的运算结果,逆向推导出这两个点的具体信息是非常困难的。这样的复杂度使得基于椭圆曲线的密码体制比传统的 RSA 更加难以破解。在 SM2 加密中,公钥和私钥的生成与传统的椭圆曲线加密类似。选择一个椭圆曲线和一个基点 P。使用私钥 d,计算公钥 P’ = d * P。私钥 d 保密,而公钥 P’ 可公开分发,用于加密数据。

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 1212

语言大模型(LLM)与自然语言处理(NLP)

LLM 与 NLP 的发展正重塑人类与机器的交互范式,从辅助决策到自主创新,其应用已渗透至社会各领域。未来,技术突破将聚焦效率提升(如 MoE 架构、光子计算)、伦理合规(如数据溯源、偏见消除)和场景深化(如医疗、教育)

IT99_的博客 1290

17、激光切割焦点位置和入射角对切割质量的影响研究

本研究通过响应面方法(RSM)结合Box-Behnken设计,系统分析了激光功率、切割速度和气体压力对SS 304不锈钢激光切割质量的影响,重点探讨了三种不同喷嘴在不同聚焦条件下的切缝比和条纹深度变化规律。实验结果表明,激光功率、切割速度和气体压力对切割质量具有显著影响,且不同喷嘴因焦点位置差异表现出不同的响应趋势。通过回归建模与优化,确定了最小激光功率、适中切割速度和最大气体压力为最优参数组合,可实现最小切缝比和较优条纹深度。研究为实际激光切割工艺提供了科学的参数选择依据和操作流程建议,有效提升了切割精度

mm9012的博客 126

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面,电脑运行连游戏界面都一样大小,很怀旧,很真实,(英文版)强烈推荐,很小的文件,很难才找到的。

5. 自然语言处理NLP - Transformer

它是一个革命性的模型架构,靠“注意力机制”让 AI 更懂上下文。它快、准、强,是现代大模型(如 GPT、BERT)的基础。但它不是万能的——数据少、资源紧、任务简单时,别盲目堆它。🎯 一句口诀,记住它:“注意力在手,上下文我有;数据够大,才敢用它走。概念🔍 类比:想象你在读一本小说,想理解整段话的意思。你会先看每个词之间的关系(谁和谁有关?),再对每个词进行深入思考(这个词到底什么意思?

weixin_46080135的博客 1180

RU DOS版、EFI版32bit/64bit BIOS常用工具

DOS版、EFI版的RU工具,可用来查看IO、MEM、PCI、SMBIOS等资源。亲测在EFI SHELL下可用。

时序预测发论文新方向!大模型+时间序列引爆顶会

为帮助大家掌握大模型时代时间序列预测的研究方法,今天给大家分享58篇必读论文,原文和代码都有。

人工智能讲师分享前沿技术 2875

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

别再只盯着Transformer了!用T5/BigBird这些NLP模型做时间序列预测,效果竟然也不错?

本文探讨了如何利用T5、BigBird等NLP大模型进行时间序列预测,通过PromptCast技术实现数据表示范式的转变。文章详细解析了Prompt设计原理、主流模型适配性评测及实战部署优化,展示了NLP模型在时序预测中的跨界应用潜力,特别适合需要零样本泛化能力的场景。

weixin_30820077的博客 409

时间序列+预训练大模型!

Chronos是一个。

2401_85373396的博客 2123

大模型在关键社会领域的应用研究:金融、医疗和法律

大模型(LLMs)如GPT-3和GPT-4正在革新金融、医疗和法律领域的格局。这些领域以依赖专业专业知识、数据获取困难、高风险和严格的监管合规性为特征。本研究报告详细探讨了LLMs在这些高风险领域的应用方法、应用案例、挑战和未来机遇。强调了LLMs在提升医疗诊断和治疗方法、创新金融分析和完善法律解释和合规策略中的关键作用。还批判性地审视了这些领域LLM应用的伦理问题,指出了现有的伦理问题,并强调了需要透明、公平和强大的AI系统来尊重监管规范。

人工智能讲师分享前沿技术 1952

时间序列+预训练大模型

本文介绍Chronos一个用于时间序列的语言建模框架,它挑战了时间序列特定特征或架构对于预测的必要性。Chronos与任何语言模型架构兼容,只需要进行微小的修改。预训练模型在领域性能方面明显优于现有的局部模型和特定任务深度学习基准,在未见过的数据集上获得了出色的结果,表现出通过微调有望取得进一步改进的迹象。这表明现有的语言模型架构在没有时间序列特定定制的情况下也能够进行预测,简化了预测管道,提供了只进行推理的选项。图1 Chronos的高层次描述。

2401_84206094的博客 739

NLP自然语言处理任务

即,大模型通过前t-1个token作为条件,来预测第t个token的是哪一个,当你的前面的条件文本过长时,大模型的输出的几个短文本会被原始的很长的条件文本淹没,继续预测下一个token的话,在模型看起来可能条件仍然是差不多的(因为对于很长的文本来说几乎没发生变化,只新增了非常短的文本),此时如果使用greedy search,只选择概率最大的一个token,模型极大可能会将前面已经生成的短文本重新预测成概率最大的文本,以此类推,会一直重复下去。1. **数据清洗**:首先,对抓取的网页内容进行数据清洗。

晓的博客 774

第一个时间序列大模型:TimeGPT的介绍及实践!

时间序列数据在金融、医疗保健、气象学、社会科学等领域是不可或缺的,识别时间模式、趋势和周期性变化对于预测未来价值和为决策过程提供信息至关重要。然而,目前对时间序列的理论和实践理解尚未在从业者中达成共识,预测科学领域的努力未能实现真正通用的预训练模型的承诺。

python1234_的博客 5039

大模型学习系列:NLP基础知识学习整理

自然语言处理(Natural Language Processing,简称 NLP)是计算机科学和人工智能领域的一个重要分支自然语言处理是帮助实现人机交互的工具。它能帮助计算机理解人类的自然语言发出的命令,方便了人机交互。

m0_71853180的博客 866
上一篇: 仅用61行代码,你也能从零训练大模型
下一篇: 预训练大语言模型对时间序列预测真的有用吗?去掉预训练LLM效果反而提升
我爱学大模型
博客等级 码龄3年 7883粉丝 687原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值