- 博客(40)
- 收藏
- 关注
RSS订阅原创 2025.4.7-2025.4.13文献阅读
在本周阅读的论文中，作者提出了一种新颖的多图时空注意力模型用于对空气质量的预测。模型通过构建多尺度时空图，包括基于地理距离的距离图、反映直接连接性的邻居图以及捕捉时间因果性的时间因果关系图，从多个维度全面刻画站点间的复杂交互关系。这种多图策略克服了单一图结构在信息表达上的局限性，为后续特征提取提供了丰富的空间信息。
2025-04-13 17:31:02
652
原创 2025.3.31-2025.4.6文献阅读
在本周阅读的文献中，作者提出了一种利用GGNN结合稀疏监测数据实现供水网络实时水质预测的创新方法。模型的核心优势在于其能够充分利用供水网络的拓扑结构和稀疏的传感器数据，准确预测整个网络的水质情况。GGNN在传统GNN的基础上引入了门控机制，借鉴了GRU的思想。这种门控机制通过更新门和重置门控制信息流动，使模型能够捕捉长期依赖关系。通过引入掩码操作，模型在训练过程中随机隐藏部分传感器数据，巧妙模拟实际应用中的数据稀疏性，从而显著提升了模型的鲁棒性和泛化能力。
2025-04-06 19:22:46
902
原创 2025.3.24-2025.3.30学习周报
在本周阅读的论文中，作者提出了一种改进的双向长短期记忆网络（BiLSTM）与双阶段注意力机制相结合的新型水质预测模型。该模型通过创新的架构设计，将水质监测数据按时间尺度分解为短、中、长三个子模型，分别捕捉不同时间跨度的特征，确保预测结果的全面性和适应性。同时，模型利用BiLSTM的正向和反向处理机制，全面理解时序数据中的上下文依赖关系，并通过引入双阶段注意力机制动态聚焦于关键特征和时间点，有效减少噪声和冗余信息的干扰，增强对长期和短期依赖的捕捉能力。
2025-03-28 13:16:45
883
原创 2025.3.17-2025.3.23学习周报
在本周阅读的文献中，作者提出了一种名为TFM-GCAM的模型。TFM-GCAM模型的创新主要分为两部分，一部分是交通流量矩阵的设计，TFM-GCAM 首先基于时间拥堵度、空间拥堵度和车辆拥堵度三种指标构建了一个综合的交通流量邻接矩阵，相较于传统邻接矩阵，这一方法更真实地反映了节点间的交通流动态特性，增强了图卷积网络的适用性。另一创新是设计了一种新颖的图卷积网络，可以更好地捕获节点的时空特征和动态特性。
2025-03-23 18:37:57
1075
原创 2025.3.10--2025.3.16学习周报
在本周阅读的论文中，提出了一种名为PI-SGTGCN的模型。PI-SGTGCN通过结合S-GCN与FD信息，成功捕捉了数据中复杂的空间和时间依赖性。相较于传统的静态图方法，PI-SGTGCN的主要优势在于动态图邻接矩阵的构建，其采用空间注意力机制，从而使得模型有更强的适应性。模型采用多时间尺度编码策略提取长短期周期特征，并结合GRU-Transformer双路径架构分别建模交通流的局部波动与全局周期性，从而有效平衡了突发事件的瞬态响应与规律性模式的稳态表达。
2025-03-16 20:53:23
1028
原创 2025.3.3-2025.3.9学习周报
在本周阅读的论文中，作者提出了一种名为TCLN的融合模型。TCLN 是一种针对多变量时间序列预测的深度学习模型，通过融合多核卷积、Transformer 和LSTM，实现对时间序列的空间特征、时序特征及时空相关性的高效提取。模型利用多核 CNN 并行处理不同大小的卷积核，扩展感受野并增强变量间多尺度空间关系的建模能力，同时结合 Transformer 的自注意力机制捕捉长距离时序依赖，并借助 LSTM 强化局部时序信息的感知。
2025-03-09 15:14:21
818
原创 三十五周学习周报
在本周阅读的文献中，作者提出了一种创新的水文时间序列预测模型，其·通过将粒子群优化（PSO）与Bi-LSTM和Bi-GRU相结合，并融入特征融合和自注意力层，显著提升了预测能力。该模型利用 PSO 优化超参数（如隐藏单元数），高效探索搜索空间以适应多样化的时序特性。Bi-LSTM 和 Bi-GRU 的双向结构能够同时捕获过去和未来的依赖关系，增强了对复杂时间模式的建模能力，而自注意力层通过动态加权机制突出关键时间步的特征，进一步提升了特征表达的精准性。
2025-03-02 14:46:30
592
原创 第三十四周学习周报
在本周阅读的文献中，作者提出了一种将注意力机制与LSTM相结合的模型AT-LSTM。虽然传统LSTM通过其门控机制能有效捕捉时间序列中的长期依赖关系，但是其在处理多变量时间序列时不能充分关注关键特征对预测结果的影响。AT-LSTM模型，通过在LSTM特征提取后引入注意力机制，增强关键时刻特征的权重，从而提升预测精度。它通过自适应加权减少无关特征的干扰，使模型更聚焦于影响溶解氧的关键变量。除此作者还通过使用滑动窗口将时间序列转为监督数据，并采用贝叶斯优化调整超参数，确保模型性能最优。
2025-02-23 17:29:36
857
原创 第三十三周学习周报
在本周阅读的文献当中，作者提出了一种名为BC-MODWT-DA-LSTM的混合模型。该模型主要由DA-LSTM和BC-MODWT两个部分组成。由于输入到模型中的数据通常包含大量冗余信息，传统的 LSTM在提取数据特征的过程中存在很大的麻烦。DA-LSTM通过在LSTM 子层之前采用双阶段注意力机制作为信息提取层，以帮助 LSTM 更好地应对长期输入数据从而解决了这一问题。这种基于注意力的 LSTM 可以在有限的计算能力下，将更多的计算资源分配给相关性较高的部分。
2025-02-16 19:06:39
614
原创 第三十二周：Informer学习笔记
本周学习的主要内容是Informer模型，Informer是一种专为长序列时间序列预测（LSTF） 设计的Transformer模型。相较于传统的Transformer，Informer采用ProbSparse自注意力机制，降低了时间复杂度和内存使用的同时能够有效捕获序列中的长期依赖关系。通过自注意力蒸馏技术，Informer能够高效处理极长的输入序列。Informer的生成式解码器可以一次性预测整个长时间序列，在预测过程中大幅提高了效率。
2025-02-09 18:47:33
1362
原创 第三十一周学习周报
在本周阅读的文献中，作者提出了一种基于生成对抗网络（GAN）和长短期记忆网络（LSTM）融合模型的连续管钻井参数预测方法，旨在提高连续管钻井的安全性、效率和使用寿命，同时降低生产成本。当LSTM 的输出为多个变量时，模型预测的准确率明显低于输出为单个变量的模型。GAN–LSTM模型的思路是使用GAN的生成模型来优化LSTM。借助GAN中强大的生成模型，LSTM 的低维数据输出被用作 GAN生成模型的输入。最终目标是预测多个变量，并避免当输出数据的维数增加时模型准确性降低的问题。
2025-01-26 19:23:37
1197
原创 第三十周学习周报
在本周阅读的文献中，作者首次提出了SR-GNN。SR-GNN是一种基于会话序列建模的推荐系统，首次将GNN应用于会话推荐。由于过去方法的不足难以获得准确的会话向量并且忽略了项目之间的复杂转换导致推荐效果存在不足。GNN可以捕捉到传统序列方法难以实现的复杂项目转移，然后使用注意力机制将每个会话表示为全局偏好和该会话当前兴趣的组合从而解决了这一问题。通过大量实验表明，SR-GNN明显优于最先进的一些推荐方法。本周的学习将从模型原理，实验分析以及代码实践三个方面进行学习。
2025-01-18 20:20:15
975
原创 第二十九周学习周报
在本周阅读的文献中，作者提出了一种名为ALGAN的新模型。在论文中，作者提出了一种经过调整的新型LSTM模型，名为Adjusted-LSTM。虽然传统的LSTM可以比其他类型的循环网络保留信息更长的时间，但由于门控机制的限制和单元状态的有限大小，其可能仍然难以捕获非常长期的依赖关系。Adjusted-LSTM通过使用基于自注意力的权重更新机制来调整LSTM层输出的方法从而克服了这一限制。ALGAN模型利用Adjusted-LSTM作为生成对抗网络（GAN）中的生成器和判别器从而提高了异常检测的准确性。
2025-01-12 16:52:18
617
原创 第二十八周学习周报
本周主要的学习内容是GFPGAN模型。GFPGAN是一种基于生成对抗网络(GAN)的模型，其利用封装在预训练的人脸GAN中的丰富多样的先验进行人脸图像的修复。这种生成面部先验（GFP）通过空间特征变换层被整合到面部恢复过程中，使得GFPGAN能够实现真实性和保真度的良好平衡。得益于强大的生成面部先验和精致的设计，GFPGAN只需一次前向传递即可共同还原面部细节并增强色彩。GFPGAN 的出现，解决了传统模型因输入质量低而无法提供准确的几何先验信息的问题。
2025-01-05 18:40:39
1127
原创 第二十六周学习周报
本周的主要学习内容是FOMM模型，FOMM一种用于图像动画的技术，它能够通过给定的源图像和驱动视频生成逼真的动画序列，是实现虚拟主播的重要技术之一。FOMM模型作为图像动画生成的深度学习技术，在原理、训练和应用方面都展现出强大的实力。它的出现解决了GAN在视频中传输面部表情时依赖于预训练模型的问题。本周，作者将从基本框架、实验以及代码解析三部分对FOMM进行学习。除此本周作者还对LSTM的相关内容进行了复习。
2024-12-22 20:39:52
1113
原创 第二十五周学习周报
本周学习的主要内容是Wav2Lip模型。Wav2Lip是一种基于生成对抗网络(GAN)的模型，用于将音频与静态图片中的人脸进行对齐并合成动态视频，是制作虚拟主播的重要技术之一。Wav2Lip模型作为将音频波形转换为面部动画的深度学习技术，在原理、训练和应用方面都展现出强大的实力。通过结合生成对抗网络和适当的损失函数，Wav2Lip模型能够从音频信号中提取关键信息并将其转换为面部动画。本周，作者将从总体结构、训练以及代码解析三部分对Wav2Lip进行学习。
2024-12-15 19:02:31
921
原创 第二十四周学习周报
本周的主要任务是阅读了一篇关于循环神经网络的论文，该论文旨在探索将RNN扩展到深度RNN的不同方法。论文通过对RNN结构的理解和分析，发现从三个方面入手可以使网络变得更深， 输入到隐含函数，隐含到隐含转换函数以及隐含到输出函数。基于此类观察结果，论文提出了几种新颖的深度RNN结构，并通过实验验证了深度RNN优于传统的浅层RNN。本周看了一篇关于RNN方向上的论文，论文提出了几种新颖的深度RNN结构，并通过实验验证了深度RNN优于传统的浅层RNN。
2024-12-08 19:14:20
1025
原创 第二十三周学习周报
本周学习的主要内容仍然是Transformer模型，Transformer抛弃了传统的CNN和RNN，整个网络结构完全由Attention机制组成。准确地讲，Transformer仅由self-Attenion和Feed Forward Neural Network组成。一个基于Transformer的可训练的神经网络可以通过堆叠Transformer的形式进行搭建。在项目工程方面，对接代码、配置环境、跑通项目，对项目的代码进行了浏览，简单地学习了ASP.NET的开发模式：MVC；
2024-12-01 20:21:16
785
原创 第二十二周学习周报
本周学习的内容是Transformer模型，包括Encoder和Decoder原理讲解与其Pytorch逐行实现。本次学习主要从6个细节难点去学习了Transformer的原理与实现，详细地学习了Transformer的word embedding、position embedding和mask原理。在本周的学习中，主要学习了Transformer模型，是一种避免循环的模型结构，完全依赖于注意力机制对输入输出的全局依赖关系进行建模。Transformer模型的优势是突破了 RNN 模型不能并行计算的限制；
2024-11-24 17:40:48
1052
原创 第二十一周学习周报
本周的学习内容是对LSTM相关内容的复习，LSTM被设计用来解决标准RNN在处理长序列数据时遇到的梯度消失和梯度爆炸问题。LSTM通过引入门控机制来控制信息的流动，从而有效地缓解了梯度消失问题，这使得LSTM在各种时序数据处理场景中有更为优秀的表现。通过使用LSTM模型预测股票市场数据的涨幅趋势和对LSTM反向传播的数学推导加深对LSTM的理解。
2024-11-17 17:17:27
1103
原创 第二十周学习周报
本周的学习内容是GAN的基本理论，在训练GAN的时候，Generator的目标是希望生成的数据与真实的数据越相似越好，而Discriminator的目标是尽量将生成的数据与真实的数据区分开来。两者之间这种棋逢对手的关系，导致GAN成为一个很难训练的模型，为了优化GAN的训练，也诞生了WGAN、Conditional GAN、CylceGAN等方法。本周的学习使我对GAN的理论有了进一步的了解，为后续研究和应用打下了一定的基础。GAN的训练过程涉及两个阶段的交替进行：判别器训练和生成器训练。
2024-11-10 19:39:45
1150
原创 第十九周周报
Generative adversarial network（生成对抗网络）其实是两个网络的组合，生成网络负责生成模拟数据；判别网络负责判断输入的数据是真实的还是生成的。生成网络要不断优化自己生成的数据让判别网络判断不出来，判别网络也要优化自己让自己判断得更准确。二者关系形成对抗，因此叫对抗网络。这周首先学习GAN的基本思想以及训练过程，通过真实例子了解GAN的用途。这周对GAN有了初步学习了解，认识了什么是GAN，以及generator与discriminator两者的关系，下周将继续学习GAN的理论。
2024-11-03 20:17:00
659
原创 第十八周学习周报
在之前的学习基础之上，本周的主要任务是继续深化transformer的学习，学习的主要内容是通过transformer模型如何完成语言翻译任务，其中包括原理的手动推导和模型代码分析两部分。与之前的 RNN 和 LSTM 模型相比，Transformer 采用了全新的架构，完全基于自注意力机制，具有更高的并行处理能力和长距离依赖建模能力。Transformer 模型通过自注意力机制和并行处理能力，自然语言处理领域具有更好的表现。
2024-10-27 19:58:06
1045
原创 第十七周周报
在上周的学习基础之上，本周的学习内容是非自回归解码器以及transformer的训练过程。非自回归解码器不再依赖于之前生成的内容，它可以同时生成序列中的所有单词从而显著提高生成速度，这对于长序列的生成尤为重要。由于不依赖于先前生成的单词，非自回归解码器在处理长文本时，能够更好地捕捉全局信息，减少了因局部上下文不足而导致的错误。本周因为要考试，所以没有花很多时间对该部分的内容进行学习。
2024-10-20 16:36:52
938
原创 第十六周学习周报
本文主要分为两个部分，第一部分内容是ransformer编码器中的部分结构，其中包括Embedding、层归一化和Muti-Head Attention。第二部分的内容是transformer解码器的工作原理，在本文中阐述了自回归解码器的工作原理，自回归解码器是比较常见的解码器。它的核心思想是在生成目标语言序列时，每一步的生成都依赖于之前已经生成的序列部分。这种机制确保了生成的序列在语言上是连贯的，并且能够捕捉到长距离的依赖关系。
2024-10-13 20:38:56
997
原创 第十五周周报
本周的工作内容主要分为两个部分，第一部分是使用LSTM模型预测股票市场数据的涨幅趋势，LSTM通过其独特的结构和机制，克服了传统RNN在时序预测任务中的局限性，这使得LSTM在各种时序数据处理场景中有更为优秀的表现。第二部分的学习内容是transformer，本周主要学习了transformer的基本架构和编码器的工作原理。
2024-10-06 13:33:52
739
原创 第十四周学习周报
在上周的学习基础之上，本周学习的内容有LSTM的代码实现，通过对代码的学习进一步加深了对LSTM的理解。为了切入到transformer的学习，本文通过对一些应用例子的分析，阐述了什么是序列到序列（Seq2Seq）模型。序列到序列模型用于将一个序列（如文本，时间序列数据）转换为另一个序列。这种模型广泛应用于自然语言处理领域，特别是在机器翻译、文本摘要、对话系统和语音识别等任务中。序列到序列模型通常由Encoder和Decoder两部分组成。除此本周还回顾了梯度与方向导数的相关问题与数学推导。
2024-09-29 20:10:35
686
原创 第十三周学习周报
在上周的学习基础上，本周主要学习了RNN的训练，并对在训练过程中遇到的问题进行了一些分析学习。RNN训练过程中存在的主要问题是梯度消失和梯度爆炸。LSTM通过引入门控机制来控制信息的流动，从而有效地缓解了梯度消失问题。然而，LSTM仍然可能面临梯度爆炸的问题，这通常通过梯度裁剪来解决。除此还学习了RNN在其他方面的一些应用以及LSTM反向传播的数学推导。通过本周的学习，我了解了RNN模型是如何训练，知道了RNN在训练过程中遇到的问题以及一些缓解的方法。
2024-09-22 14:19:14
688
原创 第十二周学习周报
本周主要学习的内容是RNN，RNN主要用于处理序列数据，其核心特点是网络中的每个节点不仅接收当前输入，还接收前一个时间步的输出作为输入。在RNN的学习基础上进一步学习了LSTM，它被设计用来解决标准RNN在处理长序列数据时遇到的梯度消失和梯度爆炸问题。此外，还将Self-attention和CNN、RNN进行了对比学习。经过本周的学习，我对RNN和LSTM有了一定的理解，明白了RNN以及LSTM的运作原理和基本概念。
2024-09-15 20:23:52
1053
原创 第十一周学习周报
本周的主要学习内容是自注意力机制，在过去的学习中，神经网络的输入往往只有一个向量，当输入是多个向量时就需要用到自注意力机制。自注意力机制的核心思想是让模型在处理序列中的每个向量时，能够动态地关注序列中的其他向量，从而更好地捕捉序列中的各向量间的联系。在对self-attention的学习基础上进一步拓展学习到Muti-head Self-attention以及Positional Encoding。自注意力机制广泛应用于自然语言处理（NLP）任务,除此之外它在声音和影像处理中也同样适用。
2024-09-08 16:55:43
1302
原创 第十周学习周报
CNN的机理使得CNN在处理图像时可以做到transition invariant，但不能实现放缩和旋转的功能。因为CNN在处理图像时都会参考图像中物体的相对大小和位置方向。不同大小和不同方向的物体，对网络来说是不同的东西。STN(spatial transformer network)的提出，就是为了解决这个问题。它的任务是通过训练得出一个可以将输入特征图进行一定的变换从而提高CNN的识别率的网络层。该网络层可以放在任何一个其他网络层之前，也可以和整个网络一起进行训练。
2024-09-01 19:13:51
991
原创 第九周学习周报
本周的学习内容是以影像辩识为例，从三个观察介绍了CNN的多个概念，为了解决全连接方式解决影像辩识问题产生大量参数的问题，通过CNN的三种方法简化参数，并从两个方向介绍CNN以及CNN的全过程总结和应用。本周的主要学习内容是CNN在影像处理中的简化方法，包括感受野（ReceptiveField）如何减少参数，参数共享如何降低复杂性，以及池化（Pooling）如何进一步减小计算量。通过这些方法，CNN能有效地识别图像特征，如在围棋问题中应用，仅关注重要模式而非全图，提高模型效率。
2024-08-25 16:33:46
950
原创 第八周学习周报
在机器学习中训练模型的时候，为了及时发现模型存在的问题，会选择使用验证集进行阶段测试避免出现over fitting。但尽管在使用Validation Set决定模型的情况下，如果候选模型空间很大，那么选出来的Validation Set可能效果会很差，因此还是会产生over fitting。在神经网络中，事实上，当实现同一个复杂函数，使用深度较大宽度较小的网络，相较于只有一层而宽度很大的网络来说，其参数量会小很多，也就是说其效率会更高，同时参数量小也就说明需要的训练数据量也会小，也就更加不容易过拟合。
2024-08-18 01:07:54
766
原创 第七周学习周报
这周学习了批次、动量以及自动调整学习速率，是在训练模型时用到的方法。学习了批次的概念以及大批次和小批次在各方面各自的优缺点，以及在原来gradient的方法上加上动量这个方法，更好的解决遇到critical point的情况。最后学习了训练过程中自动调整学习速率的计算方法，以及同一参数在不同时间学习速率的动态调整方法。在没有平行运算的情况下，小的batch比大的batch更新速度快，但是在小的情况下，两者并无差异除非当大的batch非常大的时候。
2024-08-11 13:43:38
1077
原创 第六周学习周报
这周学习了关于怎么判断模型选择中问题类型，以及问题的解决方法，包括模型弹性问题、模型优化问题以及过拟合问题，利用n重交叉验证解决如何选取验证集的问题。在做梯度下降时，学习如何区分局部最小点和鞍点，以及利用泰勒和微分计算判断一个点是局部最小点还是鞍点，利用Hessian的特征向量优化参数。local minima的情况一般是很少出现，因为它本身是一个假问题，可能从低维上看一个点是局部最小点，但将这个点放在高维上来看就不一定是局部最小值，可能只是一个鞍点，而在现实应用中基本上用到的都是参数都是高维的。
2024-08-04 16:32:26
640
原创 第五周学习周报
本周在之前学习基础上引申出用于解决二分类问题的逻辑回归，Logistical Regression的三步骤以及交叉熵损失，分析判别（discriminate）模型和生成（generative）模型两者的特点以及区别，总结逻辑回归的限制，采用transformation方法解决二分类问题，以及引出了神经网络。逻辑回归是一种广义的线性回归分析模型，用于解决分类问题，尤其是二分类问题。它基于线性回归的概念，但通过使用逻辑函数（或称为Sigmoid函数）将线性模型的输出映射到[0, 1]之间，从而实现对概率的建模。
2024-07-28 15:44:04
1037
原创 第四周学习周报
本周主要是对贝叶斯公式进行了一个拓展学习，贝叶斯公式是概率论中的一个著名公式，主要用于对诱发某结果的最可能原因进行概率推理，本周通过对贝叶斯公式进行了分析证明，同时通过举例阐述了它在实际生活中某些方面的应用并以此加深理解。本周是对贝叶斯相关内容的专题拓展学习，在下周我将学习逻辑回归算法的相关问题。
2024-07-21 17:21:02
667
原创 第三周学习周报
在上周主要学习了regression的关于宝可梦预测的学习案例，这周的学习内容是clssfication的相关问题，主要是基于概率模型的分类方法，同样是以宝可梦作为学习案例，以及生成模型步骤以及后验概率的数学推导。本周主要学习内容是以宝可梦为案例的clssfication，通过二分类问题以及高斯分布，了解了基于概率模型的分类解决方法，在学习高斯分布的数学推导过程中明白了手动公式推导的重要性。
2024-07-14 17:34:37
1018
原创 第二周学习周报
在上周的学习基础之上，本周通过对宝可梦预测的实例的学习进一步深化了对深度学习的理解。重新温故了model的建立过程和优化，以及学习了通过Rregression进一步提高model预测的准确率。通过本周的学习，进一步消化吸收了上周所学的相关概念。在该学习案例中通过三个步骤去完成CP值的预测，首先是要选择一个Model，判断选择的function是否合适，最后选择一个最优的function。其次，在model的优化中并非是越复杂的function越好，过于复杂可能会导致过拟合。
2024-07-07 18:10:32
706
原创 第一周：机器学习周报
本周主要学习了机器学习的基本概念，对机器学习是什么和用于什么有了一定的初步了解，理解了简单以及复杂的linear models的 Training过程，学习了深度学习的相关概念，知道了什么是神经网络和Deep learning的正向传播和反向传播的计算过程。
2024-06-30 17:49:43
1202
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人