- 博客(24)
- 收藏
- 关注
RSS订阅原创 序列建模模型原理及演进——从RNN、Transformer到SSM与Mamba
本文系统梳理了序列建模技术的发展历程，从CNN、RNN到Transformer、状态空间模型(S4)及其改进版Mamba。重点分析了各类模型的核心机制：CNN的局部特征提取能力与并行优势；RNN的时序依赖性及其训练瓶颈；Transformer的自注意力机制与二次方复杂度问题；S4模型通过HiPPO矩阵和双模态表示实现的长程依赖处理；Mamba在S4基础上引入的选择性机制和并行扫描算法，实现了输入自适应的动态建模与高效训练。文章揭示了序列建模技术如何逐步突破计算效率与建模能力的边界，最终形成当前兼具强大表达力
2025-12-15 20:05:01
1139
原创 FaultDiffusion: Few-Shot Fault Time Series Generation with Diffusion Model
本研究提出FaultDiffusion框架，针对工业故障诊断中少样本时序数据生成问题。通过两阶段训练策略：先在大量正常数据上预训练扩散模型，再通过正负差异适配器进行小样本微调，实现正常到故障域的迁移。创新性体现在：1)设计局部注意力机制适配器，建模正常与故障数据分布差异；2)引入多样性损失解决模式坍塌问题；3)采用滑动窗口优化降低计算复杂度。理论分析表明，该方法能有效捕捉故障特征，生成多样且真实的故障时序数据，为工业预测性维护提供新思路。
2025-12-09 16:58:46
883
原创 SimDiff: Simpler Yet Better Diffusion Model for Time Series Point Forecasting
时间序列不同通道的特征分布与动态模式存在差异，跨通道注意力会引入无关噪声，导致扩散分布失真，通道独立性使模型能专注于每个变量的时序动态，避免跨通道的冗余信息干扰。此外，现有的用于点预测的扩散模型多依赖于预训练或联合训练的模型，牺牲了扩散模型生成的灵活性。对于未来数据的生成，先以归一化的历史数据作为条件，通过扩散模型的去噪过程生成归一化的未来序列。然而，在现实场景中，时间序列往往具有非平稳性，且其依赖生成的外部环境会发生变化，导致历史和未来序列的统计特性存在差异。此外，在训练阶段，未来序列。
2025-12-03 21:34:02
1365
原创 Diff-MTS: Temporal-Augmented ConditionalDiffusion-Based AIGC
本文提出Diff-MTS模型解决工业多变量时间序列(MTS)数据生成难题。针对现有VAEs和GANs方法在真实性、训练稳定性及条件一致性方面的不足，创新性地结合扩散模型与条件自适应机制。核心贡献包括：(1)采用余弦噪声调度改进DDPM，保留更多时序信息；(2)设计Ada-MMD机制实现无分类器的条件对齐；(3)开发TDR-UNet网络，通过时序分解和注意力机制捕捉复杂依赖关系。实验表明，该模型能稳定生成高质量工业MTS数据，显著优于现有方法，为工业智能发展提供了有效数据支撑。
2025-12-01 20:18:25
1500
原创 On the Constrained Time-Series Generation Problem
在计算效率方面，下表的实验结果表明，Guided-DiffTime相比Loss-DiffTime可减少高达92%的碳足迹，这一显著提升主要源于三个关键因素：彻底消除了重复训练的需求，通过DDIM加速方法大幅减少扩散步数，以及整体采样效率的优化提升。相比于需要针对每个新约束重新训练模型的方法，Guided-DiffTime在保持生成质量的同时，显著提升了使用的便捷性和效率，为约束时间序列生成技术的实际应用开辟了新的可能性。在做微调时，为了使其他模型生成的序列满足约束，训练目标是最小化目标函数以减小差异。
2025-11-27 11:29:30
964
原创 DDIM算法
DDIM是针对DDPM推理效率低的问题提出的改进算法。通过打破马尔可夫链约束，DDIM实现了跳步采样，仅需少量迭代即可获得高质量结果。其核心是将扩散过程转化为确定性ODE，而非DDPM的随机SDE过程，使样本转移路径固定且高效。DDIM复用DDPM的训练目标，但采样更灵活，支持50步内完成生成，显著提升了扩散模型的实用性。
2025-11-26 20:19:07
694
原创 传统扩散模型 VS Diffusion-TS
本文分析Diffusion-TS模型，一种基于Transformer的可解释时间序列生成方法，解决了传统扩散模型在时序生成中的三个核心问题：1）采用Transformer替代RNN消除自回归误差累积；2）通过趋势/季节性分解模块保持时序特征；3）将噪声预测目标改为直接预测原始数据提升可解释性。模型采用编码器-解码器架构，在反向扩散过程中通过趋势合成层（多项式回归）和傅里叶合成层分别提取趋势和季节性成分，最后合成高质量时序。训练目标融合时域和频域损失，条件生成采用无需额外训练的重建引导机制，通过迭代修正实现条
2025-11-18 21:27:31
830
原创 传统扩散模型 VS TSDiff
我们以q(xt−1∣xt,x0)作为桥梁，在反向过程中通过训练一个神经网络（通常为U-Net），学习分布pθ(xt−1∣xt)，训练目标是让pθ(xt−1∣xt)和q(xt−1∣xt,x0)的分布尽可能接近。它可以通过形如xt=αtxt−1+1−αtϵt−1,ϵ∼N(0,1)的重参数化公式进行迭代推导，得到xt=αtx0+1−αtϵ,ϵ∼N(0,1)，这表明扩散模型的任意时间步t的数据xt都可以由x0一步推出，这使得训练过程可以高效地进行随机梯度下降。前向过程的每步加噪规则是固定的，它是一个确定的过程。
2025-11-16 17:13:16
606
原创 扩散模型（Diffusion Model）
摘要：扩散模型是一种通过前向加噪和反向去噪过程学习数据分布的生成模型。前向过程采用重参数化技巧逐步添加噪声，使数据趋向标准正态分布；反向过程通过神经网络预测噪声并恢复原始数据分布。训练目标通过ELBO分解，最终简化为噪声预测任务，最小化预测噪声与真实噪声的均方误差。采样过程则从随机噪声出发，逐步去噪生成新数据。这种"先破坏后修复"的机制使扩散模型在图像生成等领域展现出强大潜力。
2025-11-09 17:44:54
808
原创 Predict, Refine, Synthesize: Self-Guiding DiffusionModels for Probabilistic Time Series Forecasting
本文提出TSDiff，一种基于无条件训练的时间序列扩散模型。通过解耦训练与条件推理，采用自引导机制适配多种下游任务，无需辅助网络或调整训练流程。模型架构结合S4层和Conv1x1层，有效捕捉长程依赖和多通道信息。提出两种自引导方法：均方自引导和分位数自引导，分别优化均值偏差和概率分布预测。此外开发预测精炼技术，利用模型隐式概率密度优化基础预测结果。实验验证了该方法在预测、精炼和生成任务中的有效性，其通用设计可拓展至其他时序任务和逆问题求解领域。
2025-11-04 17:43:15
859
1
原创 Diffusion-TS：一种基于季节性-趋势分解与重构引导的可解释时间序列扩散模型
Diffusion-TS是一种创新的时间序列生成模型，通过结合Transformer架构与扩散模型实现高质量的条件生成。其核心创新包括：1）可解释的分解结构，通过趋势合成层和傅里叶层显式建模时间序列的组成成分；2）改进的训练目标，同时优化时域和频域特征；3）灵活的采样算法，支持插补、预测等多种任务。模型采用分类器引导机制实现条件控制，并创新性地提出动态梯度更新策略优化采样效率。该设计为时间序列生成提供了新的范式，在保持生成质量的同时增强了模型的可解释性和任务适应性。
2025-10-24 17:37:11
1232
原创 基于目标导向扩散模型与影响函数的EHR数据生成方法
摘要：本文献提出TarDiff框架，针对传统EHR生成模型忽视下游任务性能优化的问题，创新性地将合成目标从数据保真转向效用优先。通过影响函数量化生成样本对任务损失的影响，并作为引导信号注入扩散过程的反向去噪阶段。在MIMIC-III等六个医疗数据集上的实验表明，TarDiff不仅能生成高质量的医疗时间序列数据，还能显著提升下游任务（如死亡率预测）性能，尤其在处理类别不平衡问题时表现突出。该方法为医疗数据共享和隐私保护提供了新思路。
2025-09-22 20:15:12
809
原创 生成对抗网络（GAN）
摘要：生成对抗网络（GAN）通过生成器与判别器的对抗博弈隐式学习数据分布，避免了传统生成模型显式概率估计的局限性，在高维数据生成中展现出显著优势。尽管GAN在生成质量和效率上取得突破，但仍面临模式崩溃、训练不稳定等挑战。衍生模型如DCGAN、WGAN等在架构、损失函数等方面不断优化，推动了GAN技术的发展。未来研究将聚焦训练理论深化、多模态生成扩展和评估体系完善，进一步释放生成模型的潜力。
2025-09-08 18:04:10
1086
1
原创 Transformer 及其改进模型在时序预测中的演进与对比
本文系统分析了Transformer及其改进模型Informer与iTransformer在时间序列预测中的性能演进。实验结果表明，iTransformer通过变量令牌化设计在短期预测中表现最优，Informer凭借ProbSparse自注意力机制在超长预测中更具优势，而原始Transformer在中段预测中保持稳健平衡。各模型在计算效率、预测精度和资源消耗方面存在显著权衡。未来研究应着重优化计算效率与长期建模能力的协同，探索轻量化设计和自适应融合机制，以提升复杂场景下的预测性能。
2025-08-22 07:30:44
2550
原创 基于卷积神经网络的时序预测
本文研究了卷积神经网络（CNN）、时序卷积网络（TCN）和多尺度等距卷积网络（MICN）在电力负荷预测中的性能表现。实验结果表明，CNN在极端误差控制方面表现最佳；TCN训练速度最快但预测精度不足；MICN凭借多尺度特征融合机制实现了最优预测性能，平均绝对误差相较CNN降低70%以上，验证了多尺度建模对时序预测的重要性。然而，所有模型对数据剧烈波动的预测能力仍有不足，且MICN的高精度以更长的训练时间为代价。未来可探索动态卷积核、轻量化架构和混合建模方法来提升性能。
2025-08-08 18:18:30
1463
原创 循环神经网络演进：从基础RNN到LSTM、GRU及注意力增强架构
本研究系统探讨了循环神经网络及其改进模型在时间序列预测中的应用。针对RNN的梯度问题，重点分析了LSTM的三门控机制（遗忘门、输入门、输出门）和GRU的双门控结构（更新门、重置门）的工作原理。通过引入注意力机制，实现了对时序特征的动态权重分配。实验基于电力数据验证了模型性能：基础LSTM模型预测准确；注意力机制增强的GRU模型采用Huber损失和余弦退火策略，提升了预测稳定性；结合多头注意力的LSTM模型在负荷预测中表现最优。研究为时序预测任务提供了有效的模型优化方案，证实了注意力机制与循环神经网络结合的优
2025-08-06 10:47:24
616
原创 梯度提升树
摘要 梯度提升树（GBDT/GBRT）是一种基于梯度下降的集成学习方法，通过迭代拟合残差优化模型，擅长处理非线性关系。GBDT用于分类（如泰坦尼克号生存预测），GBRT用于回归（如房价预测）。算法流程包括：初始化常数预测值→计算伪残差→拟合新树→加权更新模型。实战案例显示，GBDT在分类任务中准确率达96.1%，GBRT在房价预测中R²达0.93。其优势包括高精度、鲁棒性强，但存在训练效率低、高维数据处理不足等局限。合理调参和特征工程可进一步提升性能。
2025-07-31 16:28:07
2869
原创 随机森林算法
本文系统研究了随机森林算法及其应用。随机森林是一种集成学习方法，通过构建多棵决策树并综合其预测结果来提高模型性能，其核心在于Bootstrap抽样和随机特征选择机制。研究详细分析了决策树原理及ID3、C4.5、CART等算法特点，阐述了Bagging和Boosting两种集成学习策略的差异。在实践环节，分别采用皮马印第安人糖尿病数据集和二手车价格数据集开展分类与回归任务：分类任务通过特征工程优化和超参数调整，最终获得82.63%的F1分数；回归任务则通过特征选择和稀疏矩阵优化，实现R²=0.874的预测效果
2025-07-27 21:25:34
1116
原创 图神经网络的原理与代码实现
摘要：本文介绍了图神经网络(GNN)的核心流程与PyTorch Geometric实现方法。GNN工作流程包含采样邻域、聚合邻居特征和预测标签三个步骤，通过k值控制信息传递深度。文章详细讲解了三种任务的代码实现：1)基于Cora数据集的节点分类任务，使用双层GCN结构；2)边分类任务，通过负采样构建二分类器；3)ENZYMES数据集的图分类任务。总结指出，不同GNN的本质区别在于消息传递机制，而三大任务的区别在于输出层输入不同。PyTorch Geometric库已高度集成各种GNN层，便于模型切换。
2025-07-24 23:49:17
1032
原创 LSTM（长短期记忆网络）
LSTM是一种用于长序列建模的循环神经网络，通过记忆细胞和门控机制有效解决传统RNN的梯度消失问题。它包含输入门、遗忘门和输出门三个核心组件，能精确控制信息流动。相比GRU，LSTM结构更复杂但长程依赖建模能力更强。实验使用PyTorch实现LSTM股票预测模型，通过对上证指数数据进行训练测试，模型能较好跟踪股价趋势，测试集RMSE为49.18点，但市场剧烈波动时预测精度仍有提升空间。LSTM在金融时序分析中展现出可靠性能，为处理长期依赖关系提供了有效工具。
2025-07-23 17:44:05
1340
原创 GRU（门控神经单元）
本文系统介绍了门控循环单元(GRU)的原理与应用。GRU通过更新门和重置门机制，解决了传统RNN在长序列处理中的梯度消失问题，能有效捕捉长期依赖关系。文章详细解析了GRU的结构设计，包括门控单元的计算方式、隐藏状态更新机制及其优势，并提供了PyTorch实现代码。GRU在语言模型、机器翻译、语音识别和时间序列预测等领域展现出优异性能，其参数效率高、计算复杂度低的特点使其成为序列建模的重要选择。
2025-07-23 17:23:52
1542
原创 循环神经网络（RNN）
本文系统介绍了循环神经网络(RNN)的基本原理与应用。首先对比CNN在处理时序数据时的局限性，引出RNN通过循环连接和隐藏状态实现"记忆"功能的优势。详细阐述了RNN的前向传播和反向传播机制，以及多对多、多对一、一对多三种结构类型在不同任务中的应用。分析了RNN相比全连接网络在参数共享和变长序列处理上的优势，同时指出其存在的长期依赖问题。文章最后总结了RNN作为序列建模基础的重要地位，以及其对LSTM等后续模型的启发作用。
2025-07-23 17:07:27
2154
原创 时间序列分析之指数平滑法
本文系统介绍了指数平滑法的原理与应用。指数平滑法通过赋予近期数据更高权重，实现对时间序列的有效预测。文章详细阐述了三种模型：一次指数平滑处理无趋势序列，二次指数平滑适用于线性趋势数据，三次指数平滑则能同时建模趋势和季节性特征。重点讨论了平滑参数的选择方法，包括最小化误差平方和、最大似然估计及贝叶斯方法，并通过温度预测案例展示了Python实现过程。研究结果表明，该方法在短期预测中表现优异，尤其适合具有明显时间依赖性的场景，但长期预测精度会随时间衰减。
2025-07-23 16:37:10
1620
2
原创 ARIMA模型：时序预测的经典工具
本文系统介绍了ARIMA时间序列预测模型的原理与应用。ARIMA模型通过自回归(AR)、差分(I)和移动平均(MA)三个组件处理非平稳序列，其核心步骤包括：1)平稳性检验与差分阶数d确定；2)基于ACF/PACF图识别自回归阶数p和移动平均阶数q；3)通过AIC/BIC准则选择最优参数组合。文章以石油价格预测为案例，详细演示了数据预处理、ADF检验、参数优化和模型评估的全过程，最终获得ARIMA(1,1,1)模型，RMSE为0.8908。研究结果表明ARIMA能有效建模时间序列，但需注意残差非正态性等限制。
2025-07-21 11:52:53
1191
1
时序预测-环境与气象科学
2025-07-23
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人