- 博客(84)
- 收藏
- 关注
原创 时序大模型
2024年3月份,亚马逊研究团队用于预训练概率时间序列模型的新颖框架,旨在用过利用现有的基于transformer的语言模型来简化时间序列预测任务,并进行最少的修改。
2025-05-26 10:22:36
760
原创 《TIME-LLM: TIME SERIES FORECASTINGBY REPROGRAMMING LARGE LANGUAGE MODELS》
本文提出了T IME -LLM,一个将大型语言模型(LLMs)重新编程以进行时间序列预测的框架。该方法通过将时间序列数据转化为文本原型,结合Prompt-as-Prefix(PaP)技术,增强了LLMs对时间序列的推理能力。实验结果表明,T IME -LLM在多个基准测试中超越了现有的专用预测模型,尤其在少样本和零样本学习场景中表现优异,展示了LLMs在时间序列预测中的潜力。
2025-04-18 11:30:52
822
原创 《TimeMixer++: A General Time Series Pattern Machine for Universal Predictive Analysis》
本论文提出了T IME M IXER ++,一种通用时间序列模式机器,旨在解决传统模型在捕捉多尺度和多周期性时间序列模式方面的局限。通过多分辨率时间成像(MRTI)、时间图像分解(TID)、多尺度混合(MCM)和多分辨率混合(MRM),T IME M IXER ++能够有效提取复杂的时间序列模式。实验结果表明,该模型在八个时间序列分析任务中均表现出色,超越了现有的通用和任务特定模型,展示了其在时间序列分析中的广泛应用潜力。
2025-04-17 15:09:14
945
原创 《Timer: Generative Pre-trained Transformers Are Large Time Series Models》
本论文提出了一种大型时间序列模型(Timer),旨在解决数据稀缺场景下时间序列分析的性能瓶颈。通过对高达10亿时间点的统一时间序列数据集进行预训练,Timer采用生成式预训练Transformer架构,能够处理预测、插补和异常检测等多种任务。研究表明,Timer在少量样本下表现出色,具备良好的可扩展性和任务通用性,超越了现有的任务特定模型。
2025-04-16 17:37:54
781
原创 《Chronos: Learning the Language of Time Series》
本文提出了Chronos,一个简单而有效的预训练概率时间序列模型框架。Chronos通过缩放和量化将时间序列值标记化为固定词汇,并利用现有的基于变换器的语言模型架构进行训练。我们在多个公开数据集和合成数据集上预训练了Chronos模型,并在42个数据集的基准测试中显示出其在训练数据集上的显著优势,以及在新数据集上的零-shot性能。结果表明,Chronos能够有效利用多领域的时间序列数据,简化预测流程。
2025-04-16 15:16:10
918
原创 综合能源规划仿真软件
包含光伏、电池储能、电网接入和充电桩,根据项目已经明确的边界条件,逐个设置设备参数,例如电网(分时电价)、光伏(以最大化利用屋顶可用面积为原则)、充电桩(单位造价初投资、运维成本、数量、最大允许功率等技术指标、充电行为、充电机制等)、电池储能系统(0.5c、逆变器功率设置、效率、电池参数主要设置、初始投资、电池架数量等)软件包含多种分布式能源类型并全面覆盖能源生产、转化、储存等环节的各种技术,并充分考虑环境资源和用户波动性,以投资成本最低为优化目标,实现设计的技术组合最优与设备容量最优。
2025-01-24 14:43:21
1106
原创 python网络框架——Django、Tornado、Flask和Twisted
Django、Tornado和flask是全栈网络框架,而Twisted更专注于网络底层的高性能封装,不提供HTML模版引擎等界面功能,因此不能称为全栈框架。
2024-12-20 16:23:23
1815
原创 客户端的编程技术
是一种直译式脚本语言,是一种动态类型语言,内置支持类型。她的解释器被称为JavaScript引擎,该引擎内置于现代的所有浏览器中,在HTML网页上使用JavaScript可以为HTML网页增加动态功能。层叠样式表,是一种用来表现HTML等文件的显示样式的语言,通过CSS可以将页面子元素与显示效果分离,提高页面的复用性和可维护性。超文本标记语言,可以用任何编辑器对其进行编辑,只需要将文件以*.html或*.htm命名。一个纯JavaScript客户端库,全部代码被封装在一个文件中。
2024-12-12 15:34:30
260
原创 随记——网络基础
由于IPV4的数量限制,IPV6应运而生,ipv6由128位二进制数组成,在表达式上用8个16进制数字表示,比如d23:4334:0:0:23:ade:9853:23。端口是一个16位二进制数表达的正整数,数字范围为0~65535,即一个在网络上通信的主机理论上最多有65535个传输通道。传输层:为两个主机的不同端口之间的通信提供服务,端口是一种在同一主机内的不同通道之间进行寻址的方式。TCP/IP的传输层包括两种协议:TCP和UDP,TCP提供可靠的有序传输,UDP提供非可靠的传输。
2024-12-12 15:09:21
541
原创 多发电站实现光伏发电预测的统一管理模式
前端框架主要用于web应用的前端开发,即用户界面部分,这些框架提供了构建交互式和动态web页面的工具和方法,前端框架使得开发者可以更容易地创建和维护web页面的布局、样式和交互。将所有电站的历史数据和实时数据集中存储在数据库中,如MongoDB或PostgreSQL,这样可以方便地从统一的数据源中获取数据,用于模型的训练和预测。使用云存储服务,如Amazon S3或Google Cloud Storge,来存储光伏电站的配置文件和日志文件,这样可以实现数据的集中管理和访问。使用统一的模型框架,如。
2024-12-11 17:30:35
245
原创 python web开发——flask
python+flask中一般采用的是jinja2模版一、渲染模版要渲染一个模版,通过render_template方法即可return render_template('about.html',user='username') # 传递单个参数return render_template('about.html',**{'user':'username'}) # 传递多个参数传递单个参数:采用var='value'传递多个参数:用字典,并添加**转换成关键字参数传入二、模版概要。
2024-12-11 16:30:10
1199
1
原创 PYTHON编写API
通过API,开发者可以通过标准化的请求和响应机制,访问服务器上的数据和功能,而无需了解具体的内部实现细节。①web API:也叫做网络API或HTTP API,允许应用程序通过网络进行交互,web API通常使用HTTP协议,传递JSON或XML格式的数据。这在开发和测试Web应用时非常有用,因为它允许开发人员从不同的机器或浏览器上访问服务器,而无需担心特定的网络地址。是一种灵活的配置方式,它使得Web服务器能够接受来自任何网络接口的连接,从而方便开发和测试,以及在不同网络环境中的部署和访问。
2024-12-06 11:41:40
418
原创 国能日新——一种新能源气象大模型构建方法、装置及功率预测方法
对每个节点的特征向量应用线性变化,基于注意力机制计算节点间的注意力系数,使用softmax函数对每个节点的所有注意力系数进行归一化,最后使用归一化的注意力系数和线性变化后的特征计算节点的新特征向量,进行特征聚合。②数据嵌入:将输入的每个变量气象数据进行标准化处理,然后将输入数据和动态图结构的每个点和边通过MLP多层感知机网络进行映射,使得动态图结构的每个节点和边都携带高纬气象特征信息。利用MLP多层感知机网络将动态图结构中的节点和编信息进行反向映射,为每个节点产生一个预测值,即下一时刻的气象预测数据。
2024-11-01 14:42:29
433
原创 新能源行业大模型整理
固德威与阿里,双方基于阿里云通义大模型及百炼平台共同打造新能源垂直领域大模型。应用场景:①客户咨询与服务②智能平台运营③智能运维④智能用户助力目前为止,大模型更多的是用在知识问答、辅助决策方面,像固德威智慧能源WE平台,他们算法方面,类似于光伏发电、负荷用电预测等还是采用的常见的机器学习方法进行的。
2024-10-23 17:28:50
1628
原创 linux系统下让.py文件开机自启动
1、打开终端2、切换到root用户sudo su3、创建一个新的systemd服务文件4、在服务文件中添加以下内容5、保存并关闭文件。
2024-09-30 14:45:51
529
原创 阿里eforecaster平台
使用单独的建模策略,在预测建模阶段,我们对与系统负载相似的总线负载时间序列进行数据预处理,包括异常值校正和缺失数据的输入,不同的是,保留率极端事件和特殊假日对应的异常值,知删除在异常感知和收集过程中引入的异常值,模型选择:只考虑非深度机器学习模型(如lightGBM、catboost、random forests)的集成。输入数据:原始数据包括时间数据,如电力负荷、天气数据(如温度、风速、太阳辐射)、运行数据(如电气设备的维护计划和工厂的生产计划)以及静态数据(如风电场的装机容量和区域类型)
2024-09-24 14:11:11
506
原创 阿里发电预测模型:FusionSF
Patching&masking:封装图像的小的局部区域,将卫星图像划分为多个不重叠的小块,然后用多层感知器将其进行投影,在训练阶段,屏蔽了上下文中的一部分,从均匀分布中随机抽取掩蔽比,并对相应的标记及其位置嵌入进行掩蔽,在推理期间,不应用掩码。的卫星图像和历史观测输入,好处:降低了原始数据中的噪声,增强了提取特征的鲁棒性,而且有利于不同信息密度的模态对齐。NWP、卫星和天空照相机通常被用作支持太阳预报的关键数据源,依赖于NWP数据的传统技术通常采用基于回归的方法,但是这些方法的有效性很大程度上。
2024-09-24 14:10:15
815
原创 TiDE时间序列模型预测(Long-term Forecasting with TiDE: Time-series Dense Encoder)
第一步:特征投影,利用残差块将动态协变量(随时间变化的外生变量)映射到低维投影中,在进行多元预测时,需要特征的未来值,因此模型必须处理回望窗口和水平序列,这些序列可能会很长,因此,通向低维空间投影,可以保持长度可控,并允许模型处理更长的序列,包括历史窗口和预测范围。工作流程:编码器会将历史的时间序列数据和相关的学变量(如节假日、促销活动等)输入进去,学习一个紧凑的表示向量,捕捉数据内在模式,接下来,解码器会根据这个向量,结合已知的未来时间步的协变量,生成相应的预测值。
2024-08-05 17:17:24
1088
原创 预测误差校正的方法,如果不是系统性误差怎么校正?
由于光伏发电功率预测的准确性很大程度上取决于NWP的质量,因此提高NWP的精度是提高功率预测精度的重要手段。利用2DGRA实现最佳历史相似日数据的获取,根据日功率曲线的波动性将总数据分为3类(晴空条件、轻度非晴空条件和重度非晴空条件),根据3种分类,分别训练3种BiLSTM模型对日功率曲线进行预测。分析NWP与PV功率预测的误差分布,NWP的辐照度的误差较大,对预报结果影响较大,因此采用实测辐照度对NWP辐照度进行校正。为了提高PV预报的准确性,有必要对辐照度进行短期校正,采用ELM算法对辐照度进行校正。
2024-07-15 17:56:43
706
原创 2024人工智能大会_强化学习论坛相关记录
GPU:图形处理单元,最初设计用于处理图像和视觉渲染任务,但随着技术的发展,GPU也被广泛用于并行计算任务,特别是在深度学习和大规模数据处理领域。通常用于执行程序的流程控制和数据处理,CPU通常包含少量的核心(通常4-32个),每个核心能够处理复杂的任务和多任务操作。CUDSS:库函数,实现矩阵分解,但是性能不是很好,性能不稳定,分解的结果很随机,无法实现多卡并联。ORLM:可以私有化部署,任何基座,可以用LLM,可以用合成数据,让大模型建模,COPT求解。上述的1:指的是问题平均求解的时间为1秒。
2024-07-08 16:39:57
543
原创 python输出日志out.log相关问题(缓存机制)
现象:nohup python total_test619.py > out.log 2>&1 &,total_test619.py功能如下,首先计算1+3的值,然后将该值print出来,之后等待5分钟,重新运行之前的函数,输出结果,之后往复,等待时间,输出结果等,这个里面是输出的日志为什么在程序刚开始运行的时候会输出内容,等等代理5min后,第二次运行函数的时候,结果就不输出到out.log中了。操作,或者缓冲区设置得比较大,你可能会发现,只有当缓冲区刷新时,输出才会写入到。为了解决这个问题,可以在。
2024-07-04 14:42:18
582
原创 光伏发点功率预测部署的代码随记
传入的参数:plant_ID:工厂ID,以此确定哪家工厂url:接口,通过工厂ID,获得对应工厂的信息,包含设备id、经纬度等your_host、your_username、your_port、your_password、your_database:连接数据库要用到的信息①获取前一日的日期(线上环境要改,现在是直接定死的一天②通过url获取对应电站的设备ID③连接数据库,读取表获取对应电站下的所有设备ID当日每隔15min的总的发电功率,返回的dataframe格式数据如下。
2024-07-02 17:39:29
648
原创 逻辑整理(光伏发电预测算法部署用的)
①问题在与要是进入每天晚上九点后,等待23小时,不管怎样都到不到这几个月1日凌晨1点的判断。②增加全局异常捕获,然后在等待,这样程序不不容易崩。上述这种,程序容易崩,不建议用。上述这种方式应该更好吧。
2024-06-20 11:31:48
246
原创 《A DECODER-ONLY FOUNDATION MODEL FOR TIME-SERIES FORECASTING》阅读总结
建立一个通用的零样本预测器,接受时间序列的过去C个时间点作为上下文,并预测未来的H个时间点。定义预测的准性可以通过均方误差(MAE)等指标来衡量。
2024-06-20 10:19:36
1602
原创 Amazon SageMaker
简化机器学习团队协作,使用人工智能驱动型编程辅助工具高效编码,调整和调试模型,在生产环境中部署和管理模型,实现工作流程自动化,所有这些都在一个统一的WEB界面中完成。可以快速上传数据、创建新笔记本、训练和调优模型,在步骤之间来回切换以调整实验,以及在sagemaker studio的情况下降模型部署到生产环境中,能够快速切换环境并在组织内无缝协作,以大规模构建机器学习模型。总结:Amazon SageMaker Studio是一种机器学习服务,帮助开发人员快速准备、构建、训练和部署高质量的机器学习模型。
2024-06-04 15:33:59
812
原创 serverless记录
1、选择云平台:首先,需要选择一个合适的云平台,如阿里云、腾讯云、华为云等,根据项目的需求和预算选择合适的云服务提供商。4、配置环境:在云平台上配置算法所需的环境,包括操作系统、程序语言环境、依赖库等,确保算法可以在云平台上正常运行。6、部署服务:在云平台上部署算法服务,包括启动虚拟机、运行容器、出发函数计算等,根据算法的需求选择合适的部署方式。3、创建云资源:在云平台上创建所需要的云资源,如虚拟机、容器、函数计算等,根据算法的需求选择合适的资源类型。
2024-06-04 11:43:12
190
原创 机器学习补充学习
AIC的缺点:对模型复杂度的惩罚是固定的,即每个参数的惩罚都是2。是一个统计量,用于衡量线性回归模型对观测数据的拟合程度,特别是在模型中包含多个自变量时,调整R方考虑了模型中自变量的数量,从而避免了模型过渡拟合的风险。是一种用于评估统计模型拟合优度的指标,AIC考虑了模型拟合数据的能力和模型的复杂度,旨在找到一个在数据拟合和模型复杂度之间达到平衡的模型。2、处理不平衡数据:Adaboost能够自动调整每个分类器的权重,以对错误率的类别给予更多的关注,这有助于提高少数类的分类性能。
2024-05-24 14:41:26
977
原创 基于区间预测的调度方法
为了应对县级市光伏发电与用电需求之间的最优调度问题,提出一种面向蓄电池和光伏发电机的区间预测调度优化方法。该方法分别对发电功率调度、充电/放电功率调度和荷电状态调度进行决策从而获得最优调度的精确范围。建立最优SOC调度随用电网络需求变化的雅可比矩阵,接着证明雅可比矩阵的一部分属于M矩阵,并且是对角占优矩阵。利用这一事实,可以显示出最优SOC调度的单调性,从而进一步推导出所有电力调度范围。
2024-04-22 18:07:44
915
1
原创 模型融合的方法
②blending不同模型的训练集是一样的(模型的精度高和模型间的差异性大都可以提升模型效果,所以可以采用一些采样方法和数据增强方法增加样本多样性)希望使用一个模型去融合模型,但是如果使用相同的数据去训练用于融合的模型,存在数据泄露的问题,导致过拟合,所以stacking采用交叉验证的方法缓解该问题。⑥bagging:通过采样训练数据集的样本,训练得到多样的模型,进而得到多样的预测结果,在结合模型的预测结果时,可以对单个模型预测结果进行投票或平均。随机森林还将对每个数据集的特征(列)进行采样。
2024-04-07 17:52:53
3498
原创 GRU&LSTM
3、稳定性问题:随着数据量的增多和模型复杂度的增加,LSTM的表现更加稳定,这可能是因为LSTM的设计允许它更好地处理长期依赖问题,而GRU在这种情况下可能因为其简化的设计而受到影响。候选隐藏状态:基于重置门、更新门的作用,GRU计算一个新的候选隐藏状态,这一步骤涉及到输入数据、重置门和更新门的作用,候选隐藏状态反映看当前时刻的新信息。最终隐藏状态:最终隐藏状态是当前时刻的隐藏状态,它是候选隐藏状态和上一时刻的隐藏状态的加权和,权重由更新门决定。3、输出:最后根据当前的隐藏状态进行最终的输出。
2024-04-03 15:34:53
646
原创 python数据的一些操作
3、按日期对数据进行分组,并且将每天的功率值存储为一个列表,最后将分组结果转换为dataframe。,将每个小时的功率值单独放在一列中。2、修改时间格式,将时间转换为datetime格式。感觉操作好繁琐啊,有没有其他简单的操作呢?5、创建一个新的DataFrame。列,每一个列表元素对应一行数据。6、将bb的索引设置为与aa相同。excel中的内容如下。4、将日期设置为索引。
2024-03-21 15:43:17
270
原创 常用于终端的命令(自备)
按ctrl+c,程序仍然运行,关闭终端,程序依然运行,需要通过kill终止进程。④nohup +指定输出文件+ &:可以指定输出文件接收命令的输出。按ctrl+c,程序依然运行,关闭终端,程序结束。按ctrl+c,程序结束,关闭终端,程序依然运行。表示把标准错误定向到标准输出上,一起输出。日志在nohup.out中,实时查看日志。如果想要python在后台不挂断运行。②nohup:程序不挂起,
2024-03-06 10:12:19
527
原创 XGboost的整理
评估指标,用于在训练过程中对模型的表现进行评估,‘rmse’ 表示均方根误差(Root Mean Squared Error),它是回归问题中常用的性能指标。树的最大深度,增加这个值可以使模型更加复杂,并提高队训练数据的拟合程度,但可能会导致过拟合。n_estimators:森林中树的数量,值越大,模型越复杂,训练时间也会相应增加。较大值会导致模型更保守,可能会导致模型的过拟合。较小的值可以减少过拟合,提高模型的泛化能力。L1正则化项的权重,增加这个值同样也可以增加模型的正则化强度。
2024-03-05 18:02:48
778
原创 lightGBM的学习整理
风场当天的预报数据的分辨率为20km一个网格点,功5151个点,每个文件以UTC12时为起点,包含169个小时的预报数据,风主要关注时间、位置、风速。任务:根据仿真人体漂流坐标、海洋环境要素等数据信息,利用lightGBM算法建立落水人员漂移预测模型,模型能够预测落水人员的漂流轨迹,最大程度减小搜寻区域的大小,减少搜救力量的投入,提高海上搜救的成功率,有效保障海上生产的安全。1、初始化,选择一个初始模型,通常是一个常数,比如分类问题中内的类别概率的先验值,回归问题中的目标变量的平均值。
2024-03-05 18:02:37
554
原创 气象数据收集
国家气象信息中心-中国气象数据网 (cma.cn)国家气象信息中心-中国气象数据网 (cma.cn)预报数据:需要定制,收费10万+路面数据同化系统,实时。
2024-02-29 15:17:52
2087
1
原创 光伏发电预测
最严重的问题是过拟合,模型在训练样本中表现优越,但是在验证数据集以及测试数据集中表现不佳。以下创新方法可以提升融合后的模型表现1、重复使用部分特征:Light GBM模型中,对环境特征(板温、现场温度、光照强度、风速、风向)执行一次复制,这些特征在训练中出现2次,结果显示,训练集误差几乎一致,但是在验证集误差更小。使用重复特征,减少了过拟合的程度。2、在每折交叉验证后进行预测。
2024-02-29 14:37:44
1967
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人