- 博客(62)
- 收藏
- 关注
RSS订阅原创 机器学习周报-文献阅读
本周阅读了一篇在稀疏监测数据下基于图神经网络的给水管网水质实时预测论文，文章提出了一种新的门控图神经网络(GGNN)模型用于水分配网络(WDNs)的实时水质预测。该模型整合水力流向和水质数据，采用掩蔽操作提高预测精度。通过实际WDN评估，GGNN模型能在整个网络实现准确水质预测，基于水质的传感器放置可提高预测精度，此研究为WDN建模中用机器学习模型替代水力模型迈出第一步。同时，结合论文相关知识对掩码操作和GRU原理和代码进行补充学习。
2025-04-03 14:26:02
605
原创 机器学习周报-文献阅读
本周阅读了一篇题目为A novel ultra-short-term wind power forecasting method based on TCN and Informer models的论文，该论文提出了一种基于TCN和Informer相结合的双通道风电功率预测网络结构。与以往的工作不同，该网络结构对VMD分解得到的不同复杂度的模态分量进行了分类。该方法利用Informer模型预测低复杂度模式，同时利用TCN提取高复杂度模式的风电功率序列的局部空间互相关和时间相关性。
2025-03-29 18:27:05
967
原创 机器学习周报-文献阅读
本周阅读了题目为Short-term prediction of dissolved oxygen and water temperature using deep learning with dual proportional-integral-derivative error corrector in pond culture的文章，文章提出了一种深度学习与PID误差校正相结合的方法，用于DO和WT的准确快速预测。
2025-03-23 19:13:12
1086
1
原创 机器学习周报--文献阅读
本周阅读了题目为A Water Quality Prediction Model Based on Long Short-Term Memory Networks and Optimization Algorithms的文章，文章提出了一种基于AWPSO-LSTMAT的预测模型。与之前的SVR、LSTM、CNN-LSTM和CNN-GRU等预测模型相比，通过修改和优化原始算法，AWPSO-LSTMAT的预测效果明显提高。
2025-03-15 12:02:19
1180
1
原创 机器学习周报-文献阅读
本周阅读了题目为Design of Prediction Framework Geo-TA Utilizing Spatial and Temporal Water Quality Data Integrating Meteorological Information文章。文章提出了地理-时间注意力与交叉注意力机制（Geo-TA）框架，该框架基于GATnet，其中包括水质站的地理坐标，并使用气象数据作为额外的预测因子。
2025-03-09 14:02:36
1203
2
原创 机器学习周报-文献阅读
本周阅读了题目为Deep learning model based on coupled SWAT and interpretable methods for water quality prediction under the influence of non-point source pollution文章，文章构建了耦合机理模型和可解释的深度学习模型的水质预测模型SWAT-XGBoost-LSTM，在目前非常成熟的LSTM模型基础上，引入机理模型SWAT模拟非点源污染对河流的影响，通过可解释性方法，进
2025-03-01 20:27:18
999
原创 机器学习周报-文献阅读
本周阅读了题目为An efficient data fusion model based on Bayesian model averaging for robust water quality prediction using deep learning strategies文章，文章提出了结合多种神经科学模型，提出一种新颖的基于贝叶斯模型平均（Bayesian Model Averaging，BMA）的数据融合框架（深度学习方法）包括多层感知器神经网络（MLPNN），递归神经网络（RNN），卷积神经网络
2025-02-22 21:44:52
1046
原创 机器学习周报-文献阅读
本周阅读了题目为Attention-Based Spatiotemporal Graph Fusion Convolution Networks for Water Quality Prediction文章，文章提出了一种融合时空图卷积神经网络（Fusion Spatio-temporal Graph Convolution Neural Network，FSGCN）的时空预测模型，利用时间注意机制来解决水质时间序列的非线性问题；采用图卷积的方法提取河网的空间依赖关系，时空融合更容易捕捉到河网的时空特征；
2025-02-16 17:46:07
894
原创 机器学习周报-文献阅读
本周阅读了一篇基于并行结构TCN-LSTM和Savitzky-Golay滤波器的混合深度学习模型在风电功率预测中的应用为题的论文,文章提出一种基于并行架构TCN - LSTM的混合深度学习模型用于风电预测，采用Savitzky - Golay滤波器处理输入风速时间序列。通过三组对比实验，验证了该模型的有效性和优越性，在减少训练参数和计算时间的同时提高了预测性能，为风电预测深度学习网络混合模型开发提供了新方法。文章提出了一种基于带SG滤波器的TCN-LSTM并行架构的新型混合深度学习模型。
2025-02-09 20:21:36
1130
原创 机器学习周报-文献阅读
本周阅读一篇有关水质预测论文并扩展补充学习了相关知识，文章提出一种基于强化学习图神经网络的水质预测方法，包括三通道邻接-注意力图卷积和自动编码器聚类预测阶段。通过对水质指标图像邻接进行强化学习，设计三通道邻接-注意力图卷积网络，再用深度自动编码器聚类方法和自回归模型实现水质预测。使用黄河流域山东段数据集评估，经过消融实验、稳健性分析和水质指标复杂性实验，验证了该方法有明显的改进优势。
2025-01-18 13:45:33
1150
原创 机器学习周报-GNN模型学习
本周阅读了The graph neural network model这篇论文，论文提出了一种新的神经网络模型–图神经网络（graph neural network，GNN）模型，该模型扩展了已有的神经网络方法，使之适用于处理以图论表示的数据。该GNN模型可以直接处理大多数实用的图形类型，非循环的、循环的、有向的和无向的。通过看文章和相关资料的学习，对GNN的基本概念，相关流程以及GNN算法的实现原理和过程有了基本的认识。
2025-01-12 16:12:38
1145
原创 机器学习周报-ModernTCN文献阅读
本周阅读了MODERNTCN：一种时间序列分析的现代纯卷积结构，其在多个主流时间序列分析任务上取得了与最先进的基于Transformer和MLP的模型相媲美的性能，同时保持了卷积模型的效率优势。ModernTCN借鉴了Transformer中的架构设计，采用了深度卷积和逐点卷积的组合，以提高模型的表示能力。同时，为了更好地处理时间序列数据，ModernTCN引入了变量独立嵌入和跨变量依赖捕获机制。
2025-01-05 14:52:56
705
原创 机器学习周报-TCN文献阅读
TCN（Temporal Convolutional Networks，时间卷积网络）是一种专门用于处理时间序列数据的深度学习模型。它结合了卷积神经网络（CNN）的并行处理能力和循环神经网络（RNN）的长期依赖建模能力，成为序列建模任务中的强大工具。TCN主要使用因果卷积来确保网络在预测时只能使用当前和过去的信息，而不能看到未来的数据；使用扩张卷积跳过部分输入来使卷积核可以应用于大于卷积核本身长度的区域，从而增加网络的感受野；同时利用残差连接来增加网络的深度，这有助于训练深层网络并减少梯度消失的问题。
2024-12-29 17:58:21
885
原创 文献阅读+ARIMA模型学习
本周阅读的文献中提出了一种基于趋势分量和随机增量特征的ARIMA模型与K-means聚类模型相结合的水质预测方法，将ARIMA模型与聚类模型相结合，可以弥补单一ARIMA模型不能考虑具有随机变化特征数据的不足。通过聚类分析发现可能存在的影响因素，提高对于具有随机特征的数据预测精度。文献中采用自AR模型、MA模型和差分法结合的ARIMA模型能够对数据本身的历史信息来预测未来信息和k-means聚类算法、能够把相似的数据样本聚到一组。同时本文利用阳朔站点检测的水流样本数据使用该方法进行模拟预测。
2024-12-22 18:49:01
1016
原创 机器学习周报（12.9-12.15）
本篇博客介绍了采用类似于卷积核的移动窗口进行图像特征提取的Swin Transformer网络模型，详细学习了该模型每一个组成模块的网络结构和参数传递过程。本周的学习到此结束。
2024-12-15 19:14:17
1282
原创 机器学习周报（12.2-12.8）
本周学习了Vision Transformer (ViT) 的基本原理及其实现，并完成了基于PyTorch的模型训练、验证和预测任务。深入理解了ViT如何将图像分割成patch作为输入序列，并结合Transformer Encoder处理。通过迁移学习在花类数据集上训练模型，并验证了模型在预测任务中的优越性能。
2024-12-08 19:37:47
1457
1
原创 机器学习周报（transformer学习2）
本文实现了Transformer模型中的关键组件，包括多头注意力机制、编码器层以及位置编码。首先 ，通过手写实现了多头注意力机制，利用多个注意力头并行计算，提升了信息的表达能力。然后，设计了自定义的编码器模块，结合了多头注意力、前馈神经网络和层归一化。最后，构建了完整的Transformer架构，为序列处理任务提供了一个基础框架。通过手写实现了Transformer的核心组件，详细理解了多头注意力机制、编码器层，解码器层和前馈神经网络等模块的设计与实现。
2024-12-01 19:39:38
1334
原创 机器学习周报（11.18-11.24）
本文总结了 PyTorch 中常见的损失函数与相似度度量的理论基础和实现方法，重点分析了交叉熵、信息熵、负对数似然（NLL）、KL 散度和余弦相似度的数学原理及其在深度学习中的应用场景。通过示例代码详细阐述了这些概念的 PyTorch 实现方式，帮助读者在理论与实践之间建立联系。weight：指定权重，（dim），可选参数，可以给每个类指定一个权重。通常在训练数据中不同类别的样本数量差别较大时，可以使用权重来平衡。ignore_index：指定忽略一个真实值，（int），也就是手动忽略一个真实值。
2024-11-24 18:13:20
906
原创 机器学习周报（11.11-11.17）
本周主要对前几周学过的知识进行了复习和相关基础知识的查缺补漏，主要包括深度学习的基础知识。以及学习了如何运用爱因斯坦标示法让PyTorch张量变换的代码更容易编写。在进行后续相关知识的学习中，发现前面的基础知识有缺漏，进行了简单的复习和查缺补漏确保后续学习的顺利进行。
2024-11-17 16:28:40
1450
3
原创 机器学习周报（transformer学习1）
本文介绍了Transformer模型的输入结构，包括Embedding层和位置编码的作用与实现。深入了解如何将原始数据转换为模型能够处理的嵌入向量，并探讨了位置编码在捕获序列信息中的重要性。通过一个具体的实例，学习如何对数据进行处理以适应Transformer的输入要求，并利用编造的数据帮助理解各部分的计算过程和工作原理。本文通过分析Transformer的输入结构及其核心组件Embedding层和位置编码，理解Transformer如何处理序列数据。示例数据的引入，使得各个模块的作用及其计算细节更加清晰。
2024-11-10 19:16:28
1309
1
原创 机器学习周报（RNN的梯度消失和LSTM缓解梯度消失公式推导）
在深度学习领域，循环神经网络（Recurrent Neural Network, RNN）被广泛应用于处理序列数据，特别是在自然语言处理、时间序列预测等任务中。然而，传统的RNN在长序列数据学习过程中容易出现梯度消失和梯度爆炸问题，使得模型难以捕捉长时间依赖性。梯度消失问题源于RNN的反向传播算法中，多次矩阵相乘导致梯度指数级衰减，从而影响模型性能。为解决这一问题，长短期记忆网络（Long Short-Term Memory, LSTM）应运而生。
2024-11-03 19:12:44
1173
1
原创 PyTorch中如何进行向量微分、矩阵微分、计算雅各比行列式
本文介绍了在PyTorch中进行向量微分、矩阵微分以及计算雅各比行列式的方法。通过对自动微分（Autograd）功能的讲解，展示了如何轻松实现复杂的数学运算，如向量和矩阵的导数计算，以及通过雅各比矩阵和雅各比行列式对函数的线性变换特性进行分析。PyTorch可以方便地实现各种数学操作，尤其是微分和梯度计算。通过掌握如何计算向量和矩阵的导数、雅各比矩阵以及雅各比行列式，我们可以在模型优化和误差传播中获得更深的洞察。
2024-10-27 19:50:44
1247
1
原创 机器学习（10.14-10.20）(Pytorch GRU的原理及其手写复现)
GRU是RNN的一个优秀的变种模型，继承了大部分RNN模型的特性；在本次学习中，简单学习了GRU的基础知识，展示了GRU的手动推导过程，用代码逐行模拟实现LSTM的运算过程，并与Pytorch API输出的结验证是否保持一致。在本次学习中，通过对GRU运算过程的代码逐行实现，了解到GRU模型，以及加深了自己对GRU模型的理解与推导。对于接下来的学习，我将对RNN,LSTM以及GRU三者的优缺点进行补充学习。
2024-10-20 17:24:32
1374
原创 机器学习（10.7-10.13）(Pytorch LSTM和LSTMP的原理及其手写复现)
LSTM是RNN的一个优秀的变种模型，继承了大部分RNN模型的特性；在本次学习中，展示了LSTM的手动推导过程，用代码逐行模拟实现LSTM的运算过程，并与Pytorch API输出的结验证是否保持一致。在本次学习中，通过对LSTM运算过程的代码逐行实现，了解到LSTM模型，以及加深了自己对LSTM模型的理解与推导。
2024-10-13 17:23:53
971
原创 机器学习周报（9.30-10.6）
进一步学习了循环神经网络（RNN）原理、种类、优缺点，使用Pytorch中所提供的RNN模型，并根据公式进行了手写实现RNN的计算原理。继续补充学习pytorch中其他函数的使用对于通过手写RNN的计算原理，有了更深刻的印象，下周将继续手写双向RNN的计算原理，并对LSTM更深入的学习。
2024-10-06 17:55:14
854
原创 机器学习周报（9.23-9.29）
主要学习了自监督学习的相关知识，了解了 BERT 是如何实现自监督学习以及 BERT 为什么能够有效地完成任务。通过 BERT 的四个例子来理解怎样使用 BERT。最后了解了 Multi-lingual BERT 的基本知识。补充学习了pytorch中有关tensor的拼接与拆分BERT（Bidirectional Encoder Representations from Transformers）是一种基于Transformer架构的语言理解模型，它通过双向上下文来捕捉句子中的语义关系。
2024-09-29 20:57:53
880
原创 机器学习周报（9.16-9.22）-Pytorch学习（四）
通过学习CNN模型的训练及验证套路，对模型训练以及模型验证套路有了基本认识，并趁热打铁使用CNN模型实现mnist手写数字识别的实操通过学习模型的基本训练套路和验证套路，对代码的使用有了基本的认识，但还是要多加训练和使用。
2024-09-22 13:27:22
1143
1
原创 机器学习周报（9.9-9.15）-Pytorch学习（三）
本次学习对Pytorch中有关常用的损失函数进行了相关学习和实操，并对Pytorch中交叉熵损失函数的原理进行学习和相关公式的推导；并学习了优化器通过计算模型的损失函数进行模型的优化；同时学习了现在训练成熟的网络模型的使用、修改以及网络模型的保存和读取。本周学习了Pytorch中一些小简单的损失函数的数学公式和使用，搜索相关资料更深刻学习了交叉熵损失函数，学习了网络模型的使用、修改、保存和读取。下周，我将通过学习minist数据集相关任务，加深对CNN原理的学习。
2024-09-13 17:09:37
1440
1
原创 机器学习（9.2-9.8）pytorch学习（二）
在前段时间，入门学习了有关pytorch的相关安装和简单入门使用后，这周补充学习了pytorch中的数据集CIFAR10的使用并以此为数据集进行神经网络构建的相关学习，学会了通过调用pytorch中的有关卷积、池化、非线性、线性等包训练图片。通过学习pytorch的一些简单的入门使用，提高了自己的代码能力，不过对于pytorch的学习和使用，还要多看官方文档和自己的深入理解。
2024-09-08 17:43:36
1176
原创 机器学习周报（8.26-9.1）
本周先是好好理解了一下self-attention的QKV的理解，关于如何让自注意力机制更有效的问题，学习了self-attention的多种变形，包括减少注意力矩阵的计算量、加快注意力机制的运算速度、去掉attention等。本周主要是复习了self-attention的基本原理的前提下，学习了对self-attention的一下更有效的方法，然后有些公式推导理解还不够透彻，我会继续研究推导理解。
2024-09-01 21:03:05
1473
4
原创 机器学习周报(8.19-8.25）- Pytorch学习（一）
在之前学习了一些机器学习相关理论之后，本周进行了一些简单的代码实操学习，学习了PyTorch环境的配置及安装，学习了DataSet类对图像数据的处理，简单学习了TensorBoard的安装与使用，实操了一些常见的Transforms对图像的变换操作本周进行了PyTorch的相关学习，但是对于TensorBoard部分的实际应用，
2024-08-25 21:23:02
1225
1
原创 机器学习周报（8.12-8.18）
本周跟着李宏毅老师学习了Transformer，从序列到序列模型引入学习Transformer，Transformer 是一个基于自注意力的序列到序列模型，与基于循环神经网络的序列到序列模型不同，其可以能够并行计算。学习了Transformer的结构：编码器和解码器，和编码器-解码器注意力；学习了Transformer 的训练过程以及序列到序列模型的训练技巧。学习了Transformer的相关结构以及理论，但是只是进行了简单的学习，后面我会继续深入学习。
2024-08-18 20:48:02
1005
1
原创 机器学习周报（8.5-8.11）
本周学习了生成式对抗网络，从应用背景出发，先认识了生成器和辨别器，并学习了这两者的训练方法；然后学习了生成器产生图片跟真实图片之间差异的计算原理和方法，学习了WGAN，学习了GAN的一些评估方法的优缺点，学习了无条件型生成模型和条件型生成模型，还学习了GAN在无监督学习中的应用Cycle GAN。在生成模型输入时会将一个随机变量 z 与原始输入 x 一并输入到模型中，这个变量是从随机分布中采样得到。输入时可以采用向量拼接的方式将 x 和 z 一并输入，或在 x、z 长度一样时，将二者的加和作为输入。
2024-08-11 20:21:45
704
原创 机器学习周报（7.29-8.4）
本周跟着李宏毅老师学习了循环神经网络，从RNN的引入背景，分类原理等详细学习了几种RNN的分类，LSTM，RNN学习方式。学习了自注意力机制，学习了机制原理到公式理解以及举详细数据例子进行公式理解。学习了自注意力与CNN、RNN的对比.本周的学习对相关概念和公式进行了理解和记忆，下周将继续学习深度学习的神经网络模型，如：Transformer、生成式对抗网络等。
2024-08-04 19:20:55
1222
原创 机器学习周报第五周（7.22-7.28）
本周以图像识别为例，从两个角度学习了卷积神经网络（CNN）,以及CNN的全过程总结和应用，学习了CNN的三种简化参数的方法。对于一层卷积层，我们有很多个Filter，可以认为每一个Filter都是为了侦测某一个特征，其大小为设为( 3 × 3 × channel) ，而filter中的参数就是我们要通过学习得到的。假设我们已知参数，计算的过程称为Convolution。图像是彩色的channel为3图像是黑白的channel为1。
2024-07-28 19:12:15
946
原创 机器学习周报第四周（7.15-7.21）
本周学习了 batch，以及当 batch size过大或过小时的对比分析。对Momentum与梯度下降相结合进行优化模型的方法进行分析。在进行梯度下降过程中，学习率是一个重要的参数，学习率的大小决定着模型训练的平滑程度和稳定性。本文介绍了如何自动调整学习率，学习率会随着梯度的改变而改变。从而在各个情况下采用合适的学习率。同时也介绍了Adagard算法和Prop算法，Learning Rate Decay和Warm up是机器学习中的优化技术，这两种方式可以改变学习率中的η\etaη，将η\etaη。
2024-07-21 19:18:55
1505
1
原创 机器学习周报（7.8-7.14）
这周完成了上周遗留的逻辑回归有关参数优化的公式推导，简单学习多级分类的处理问题（学习了方法）。学些了在机器学习训练模型中通过判断损失函数Loss的值来判断模型的好坏。如果损失函数值过大，找到是model-bias问题还是optimization问题，再进行更好的优化。在解决模型出现过拟合问题时，学习了一种模型评估方法，N-fold交叉验证帮助我们选择一个适中的模型，既不容易出现过拟合现象，也不会因为optimization做的不好，从而导致模型过差。
2024-07-14 15:34:53
1039
1
原创 机器学习周报（7.1-7.7）
本周继续进行机器学习，通过预测宝可梦cp值和宝可梦分类的例子，对线性回归有了清晰的了解；为提高模型在训练集和测试集上的准确性，增加了模型的复杂性，但模型过于复杂会出现过拟合现象，我也简单学习了解决过拟合的几种方法。对于分类问题，线性回归是连续的函数不适合解决分类问题，而解决分类问题需要使用逻辑回归通过本周的案例学习。对于不管是预测宝可梦的cp值还是宝可梦的分类问题，都是三个步骤，第一确定合适训练数据和模型；第二通过损失函数的误差值来判定模型的好坏；第三通过梯度下降的方法，不断优化模型的参数。
2024-07-07 13:42:40
791
原创 机器学习周报（6.24-6.30）
本周学习了李宏毅老师的机器学习基础，通过一个入门案例认识机器学习的本质，函数的输入以及函数的类别有哪些，学习了training的三个步骤，包括简版和复杂版。以及神经网络的结构，深度学习正向传播计算模型的误差值、反向传播可以帮助我们有效的进行渐变迭代计算（帮助计算梯度）。
2024-06-30 17:14:43
1011
1
原创 Echarts入门使用（完结）
ECharts，一个使用 JavaScript 实现的开源可视化库，可以流畅的运行在 PC 和移动设备上，兼容当前绝大部分浏览器（IE8/9/10/11，Chrome，Firefox，Safari等），底层依赖矢量图形库ZRender，提供直观，交互丰富，可高度个性化定制的数据可视化图表。是一个JS插件性能好可流畅运行PC与移动设备兼容主流浏览器提供很多常用图表，且可定制。折线图、柱状图、散点图、饼图、K线图。
2023-07-15 20:50:15
301
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人