明明真系叻-优快云博客

原创 2025.4.13机器学习笔记：文献阅读

河流在环境变化中有着重要的作用，且坝的形成水流与河床几何形态相互作用影响，因此理解二者关系对掌握河流物理过程至关重要。虽通过实际观测、模型实验、理论分析和数值模拟等方法对沙坝的形成和发展有了一定认识，但洪水期沙坝形成过程中的水流测量困难，导致对水流与河床相互作用的理解不足。本文提出利用物理信息神经网络结合浅水方程和质量守恒定律，以稀疏的流速和水位数据为训练数据，对交替沙坝上的复杂河流流量进行预测。实验结果表明，该方法能在无直接训练数据的情况下估算水深、河床高程和糙率系数，且训练数据间隔小于沙坝波长时，数据量

2025-04-11 08:46:46 836

原创 2025.4.6机器学习笔记：文献阅读

河流水位动态对农业、工业和城市基础设施至关重要，准确预测有助于灌溉、供水、排水规划和洪水风险评估等领域的决策制定，尤其在极端天气事件中，实时预测对洪水预报和应急响应至关重要。但传统水动力模型，如HEC - RAS虽能通过求解圣维南方程提供高精度的河流水位模拟，但计算成本高，需要大量参数校准和精细的时空数据，导致实时预报在快速演变的洪水场景中效果不尽人意。而纯数据驱动的深度学习模型，如DNN、RNN、LSTM，缺乏物理可解释性，在应用于动态、未知的河流条件时泛化能力较差。物理信息神经网络（PINN）将物理方程

2025-04-01 16:41:47 778

原创 2025.3.30机器学习笔记：文献阅读

传统机器学习技术虽能作为替代模型进行数值预测，但存在对数据数量和质量的依赖，且在数据稀缺时表现不佳。为解决上述问题，物理信息神经网络（PINN）应运而生，PINN可用于解决正问题和逆问题，且通过自动微分计算导数，是一种无网格求解方法。因为山区河流建模困难，需同时处理渐变流和急变流等复杂情况。虽然PINN有在水动力学中的研究，但该论文发布前尚无针对山区河流的研究。所以这篇论文目的是测试PINN在不同流动类型和复杂河床形状的河流中的预测能力，并与传统的HEC - RAS模型求出的数值解进行比较，评估PINN的性

2025-03-29 23:16:59 750 1

原创 2025.3.23机器学习笔记：文献阅读

河流水质直接影响人类健康、生态系统、生物多样性以及社会和工业需求。准确预测溶解氧（DO）和水温（WT）等关键水质参数，能为决策者提供预警。高质量、高粒度的连续时间序列水质数据稀缺且获取的成本高，导致了数据存在不确定性和缺失值，限制了机器学习的预测技术的实施。传统时间序列数据生成模型难以捕捉数据复杂依赖关系，利用生成对抗网络（GAN）进行年度水时间序列数据生成并提高预测模型准确性的研究较少。本论文旨在探究利用水流量数据辅助生成水质和水量数据，并分析生成数据对深度学习预测模型的影响，以提高河流水质时间序列预测的

2025-03-22 18:56:39 949

原创 2025.3.2机器学习笔记：PINN文献阅读

本周读了一篇PINN在水文应用上的论文，虽然与本人目前的研究方向有所偏差，但是里面的研究方法还是值得借鉴。圣维南方程（SVE）和平流-扩散方程（ADE）常用于解决地表水溶质输运问题。但求解SVE - ADE耦合方程存在很多挑战。传统数值方法存在不连续性、数值误差、计算成本高等问题，且对噪声数据适应性差。在水文学领域，PINN已广泛应用于水文领域，但目前缺乏将其应用于求解SVE-ADE耦合方程的研究。本论文目的是评估PINN在不同条件下求解SVE、ADE及其耦合方程的性能和解决如何构建PINN模型、优化模型参

2025-03-13 17:42:58 924

原创 2025.3.9机器学习笔记：文献阅读

洪水每年对全世界造成了巨大的损失，有效的洪水预警是重要防洪方式，但是现有洪水预测方法并不可靠，比如，传统的物理计算方法和数据驱动模型需大量水文和地貌数据，又因为极端洪水事件观测数据有限，这会导致模型的预测不准确。本论文基于时间序列GANs，探究其在洪水时间序列生成及预报中的作用，利用时间序列生成对抗网络进行洪水预测，应用TimeGAN和RTSGAN生成合成洪水时间序列。以中国西江流域为例，实验结果表明TimeGAN能准确高效模拟多站点洪水序列的时空相关性，RTSGAN在长序列时表现更优，且合成数据集可减少常

2025-03-06 21:42:07 1030

原创 2025.3.2机器学习笔记：PINN文献阅读

沿海地区人口增长，人类面临飓风和洪水等自然灾害风险增大。气候变化加剧极端风暴潮、降水及海平面上升，使洪水风险进一步提升，研究潮汐河流动力学对减轻洪灾风险至关重要。按照传统的方法，大规模河流模型是气候变化研究的重要工具，但在模拟局部洪水过程时存在不足。其物理可解释性和网格分辨率低，无法解析洪水泛滥的详细信息；统计和动力降尺度方法，但在河流建模中应用有限。传统线性插值降尺度方法无法解决网格单元内空间变化的水流问题。为解决以上问题，本文提出基于物理信息神经网络的机器学习框架，用于模拟大尺度河流模型在沿海地区的亚网

2025-03-02 12:55:43 1194

原创 2025.2.23机器学习笔记：PINN文献阅读

洪水灾害对世界各地的影响重大，造成了严重的社会和经济问题，洪水防控策略依赖于水文预报模型，而这些模型主要通过数据驱动方法获得。所以模型需要达到期望的精度需要大量物理参数，而这些参数往往难以确获取；且传统的数据驱动模型往往需要可靠且真实的数据保证模型的数值模拟准确性。所以在以上背景研究下，本论文提出了一个基于物理信息神经网络（Physics-Informed Neural Networks，PINNs）的河道水流替代模型，作者总共设计了三个PINNs模型架构A、B、C，通过调节模型的输入与输出参数以探究在不同

2025-02-21 17:13:59 1237

原创 2025.2.16机器学习笔记：TimeGan文献阅读

用生成模型生成时间序列数据是一件复杂的事，因为其要求生成模型既要捕捉各时间点特征分布，又要学习变量间的动态关系。在时序数据的生成中，自回归模型虽在序列预测中改进了时间动态性，并非真正的生成模型。此外，将生成对抗网络（GAN）框架直接应用于序列数据，但其未充分利用自回归的先验信息，仅靠标准GAN损失求和不能确保生成模型能有效捕捉训练数据中的多步依赖关系。为了解决以上问题，论文作者提出一种时间序列生成对抗网络（Time - GAN），该网络弥补了上述两种模型的缺陷，作者设计了一个包含嵌入函数、恢复函数、序列生成

2025-02-16 17:33:02 1927 2

原创 2025.2.9机器学习笔记：PINN文献阅读

PINN是一种结合了深度神经网络和现代高性能计算技术的方法，其可以用来求解复杂的非线性偏微分方程。虽然PINN有很多优点，比如能够处理复杂的方程，但在需要多次计算或实时模拟的情况下它的训练过程很慢。此外，PINN的结构通常比较复杂，参数太多，导致计算效率不高。传统的数值方法虽然也能解决这些问题，但计算量非常大。为了解决PINN的这些缺点，这篇论文提出了一种新的方法，叫做生成式预训练PINN（GPT-PINN）。GPT-PINN的核心思想是简化网络结构，减少计算量。GPT-PINN的外部结构非常简单，只有一个

2025-02-08 03:49:42 1320

原创 2025.1.26机器学习笔记：C-RNN-GAN文献阅读

生成对抗网络（GANs）目的是生成数据，而循环神经网络（RNNs）常用于生成数据序列。目前已有研究用RNN进行音乐生成，但多使用符号表示。本论文中，作者研究了使用对抗训练生成连续数据的序列可行性，并使用古典音乐的midi文件进行评估。作者提出C-RNN-GAN（连续循环生成对抗网络）这种神经网络架构，用对抗训练来对序列的整体联合概率建模并生成高质量的数据序列。通过在古典音乐midi格式序列上训练该模型，并用音阶一致性和音域等指标进行评估，以验证生成对抗训练是一种可行的训练网络的方法，提出的模型为连续数据的生

2025-01-26 02:47:04 1658

原创 2025.1.19机器学习笔记：PINN文献精读

在河网水动力过程研究中，数值模拟是研究常用方法，但存在计算复杂、数据处理等问题。随着计算技术发展，一维水动力模型虽能模拟河网非恒定流，但计算需求有时较高。传统的机器学习算法发展为物理系统建模有着很大的帮助，计算效率高，但存在缺乏物理可解释性、等问题。物理信息神经网络（PINNs）将物理定律引入机器学习，在解决物理的偏微分方程方面有非常大的作用，但目前的PINNs用于河流水动力建模的研究非常有限，特别是在复杂河网的全面应用方面更是少之又少，因此本篇论的目的就是在探索将PINNs应用于河网非恒定流建模，作者过增

2025-01-18 21:43:32 1121 1

原创 2025.1.12机器学习笔记：GAN文献阅读

本周阅读了GAN的奠基论文，对GAN进行更加深入的理解，为后续要研究使用TimeGAN做时序数据的增强做理论知识的准备。深度学习在判别模型方面取得了显著成功，但深度生成模型的表现在当时的表现还是非常一般的，这是因为在直接构造分布函数的时候，计算最大似然值的过程往往是非常困难的。为了避开这些困难，作者提出了一种新的生成对抗模型框架，即通过生成器（Generator）和辨别器（Discriminator）不断的博弈从而使得生成器能够生成高质量的数据。在博弈过程中，生成模型试图生成难以被判别模型区分的数据，判别模

2025-01-12 20:16:17 1008

原创第二十八周机器学习笔记：PINN求正反解求PDE文献阅读——反问题、动手深度学习

文献主要讲述了作者是如何利用物理信息神经网络（Physics-informed neural networks，PINN）正反解求偏微分方程（PDEs）。首先作者提出在数据量稀缺背景下，多数机器学习技术缺乏鲁棒性且无法保证收敛，而利用PINN求解相关的偏微分方程可以解决这类问题。。因此，作者在论文中详细讲述了深度学习与物理规定律相结合将物理定律融入神经网络的损失函数中，并提出偏微分方程的数据驱动求解和数据驱动发现两类主要问题展开研究。在研究中，作者根据数据的性质设计了连续时间和离散时间模型，其中，连续时间模

2025-01-05 16:01:18 1248

原创第二十六周机器学习笔记：PINN求正反解求PDE文献阅读——正问题

本周周报主要详细分析了一篇PINN求正反解的经典文献，文献主要讲述了作者是如何利用PINN正反解求PDE的。之前的深度神经网络在缺乏数据的情况下很容易发生过拟合现象且缺乏鲁棒性。相比较之下，PINN的优势在处理这些问题时，就只需要少量的训练数据就可以训练出一个精确度较高的预测模型。其中，PINN的核心思想是通过在损失函数中构造物理规律的残差项，来对网络的预测值进行限制，然后再通过自动微分、反向传播技术使其不断优化模型，最终使得深度神经网络的预测的值即有精度的同时又符合当下的物理规律。PINN模型它不仅能够进

2024-12-22 20:32:18 1321

原创第二十五周机器学习笔记：卷积神经网络复习、动手深度学习—线性回归、感知机

本周的周报主要对机器学习的核心概念和实践应用进行了复习和学习，本周复习了神经卷积网络（CNN）的基础知识，包括CNN的工作原理、卷积层、池化层以及它们在图像识别中的应用。在动手深度学习中，学习了了线性回归、softmax回归和多层感知机（MLP）的基本概念和实现，并通过代码示例展示了如何使用PyTorch框架来实现这些模型。此外，还讨论了过拟合问题及其解决方案，如权重衰减和丢弃法，并以Kaggle房价预测竞赛为例，展示了如何将这些概念应用于实际问题中。

2024-12-13 15:27:33 1361 1

原创第二十四周机器学习笔记：动手深度学习之——统计学习知识

本文详细介绍了统计学习中的基本概念和算法，包括监督学习和无监督学习的区别、线性回归模型、K-means聚类算法、决策树、集成学习（包括Boosting和Bagging）以及贝叶斯定理及其在机器学习中的应用。

2024-12-08 19:35:17 935

原创第二十三周机器学习笔记：动手深度学习之——微积分

本文深入探讨了深度学习中的数学基础，特别是微积分在优化和泛化中的作用。文章首先回顾了微积分的历史和基本概念，包括逼近法、导数、微分和积分。接着，文章详细讨论了深度学习中的优化问题，包括损失函数的最小化和模型的泛化能力。文章还介绍了自动微分技术，这是深度学习框架中用于加速求导过程的关键技术。最后，文章通过一系列示例，展示了如何使用自动微分技术来计算梯度，包括非标量变量的反向传播、分离计算以及处理Python控制流的梯度计算。本文为读者提供了一个全面的深度学习数学基础概览，以及如何在实际应用中应用这些概念。

2024-11-29 21:45:13 826

原创第二十二周机器学习笔记：动手深度学习之——线性代数

本文深入探讨了深度学习中的数学基础，特别是线性代数的核心概念。文章从标量、向量、矩阵和张量的定义和性质出发，逐步介绍了它们在深度学习中的应用。通过详细的代码示例和数学公式，本文展示了如何进行基本的算术运算、矩阵操作、点积、范数计算等关键操作。文章还讨论了降维技术，包括求和和平均值计算，以及它们在数据压缩和特征提取中的重要性。

2024-11-23 22:10:00 1313

原创第二十一周机器学习笔记：动手深度学习之——数据操作、数据预处理

本文主要介绍了深度学习的基础知识和操作，包括数据操作、数据运算、数据预处理。最后复习了循环神经网络（RNN）和长短期记忆网络（LSTM）。在数据操作部分，详细讲解了张量的基本操作，如创建、形状调整、元素总数计算、初始化和元素赋值。数据运算部分则包括了张量的算术运算、连结、逻辑运算和求和。文章还介绍了广播机制和索引切片的使用方法。数据预处理部分，通过使用pandas库对CSV文件中的数据进行读取、处理缺失值、转换为张量格式。

2024-11-16 12:11:09 1341

原创第二十周机器学习笔记：初步认识PINN

本文主要探讨了物理信息神经网络（PINN）的基本概念、工作机制、训练过程，并与传统机器学习模型进行了比较。PINN通过将物理定律嵌入损失函数中，实现了对物理现象的精确模拟和预测，减少了对数据量的依赖，并提高了模型在数据稀缺情况下的预测能力。文章还详细介绍了构建PINN模型的步骤，包括确定问题域和物理定律、选择网络架构、准备数据集、定义损失函数、训练模型、验证和测试模型、调参与优化以及解释和应用。此外，文章通过代码实战比较了RNN、LSTM和Transformer在股市预测中的表现，发现LSTM在这种时序预测

2024-11-10 17:29:40 3881

原创第十九周机器学习笔记：GAN的数学理论知识与实际应用的操作

本周周报主要围绕生成对抗网络（GAN）的基础知识和理论进行深入探讨。首先回顾了GAN的基本概念、训练原理和应用场景。随后，周报详细分析了GAN背后的理论基础，包括如何通过高维空间中的点来理解图像生成，以及如何通过生成模型来寻找数据的分布。然后周报还描述了最大似然估计（MLE）在生成任务中的应用，并对比了传统方法与GAN的不同。然后复习了训练GAN的过程，包括如何通过判别器（Discriminator）来衡量两个分布之间的差异。最后，我们探讨了GAN的目标函数与JS散度（Jensen-Shannon Dive

2024-11-03 14:28:20 780

原创第十八周机器学习笔记：生成式对抗网络（下）

本周周报主要对GAN剩下的知识进行了补充学习。周报详细描述了训练GAN存在的难点和训练GAN时的一些技巧，然后还介绍了如何去评估一个GAN的性能的好坏。此外，周报还补充了之前提到的条件型GAN（conditional GAN）。最后，周报通过头像风格迁移引出了Cycle GAN（循环对抗生成网络），并详细描述了其概念原理、应用场景以及其拓展。

2024-10-24 16:50:37 1124

原创第十七周机器学习笔记：生成式对抗网络（中）

本周周报主要对GAN进行了详细的学习，周报详细介绍了GAN的理论和训练过程，并说明了使用JS散度训练会存在的一些问题。然后周报还详细介绍了WGAN算法替代JS散度的原因和具体方式，并对WGAN算法进行介绍和说明。

2024-10-20 16:55:14 945

原创第十六周机器学习笔记：Pointer Network（指针网络）、生成式对抗网络（上）；Pytorch学习——完整的模型验证套路

本周周报在机器学习的理论内容中，简单的介绍了Pointer Network 的运作原理，此外还详细描述了GAN，剖析了其内部结构，然后对其中的Generator 和 Discriminator的运作原理以及它们的互动方式进行简要的描述，最后还介绍了GAN的应用案例。在Pytorch的代码实践中，周报详细讲述了如何对模型进行验证的方法。此外，周报在最后还介绍了如何在GitHub上通读项目。

2024-10-13 15:22:56 1161

原创第十五周机器学习笔记：各式各样神奇的自注意力机制；Pytorch学习——完整的模型训练套路（下）、利用GPU训练；数学拓展——通过矩阵运算加速self-attention的过程

本周周报在机器学习的理论内容中，详细描述了attention matrix计算的各种优化形式，其中包括用人类自身的理解而诞生的Local Attention、Stride Attention、Global Attention、Clustering，也有通过机器自身通过学习而诞生Sinkhorn Sorting Network，最后还有简化attention matrix格式的Linformer。此外，周报在Pytorch学习中还补充了模型训练的细节和描述了如何利用GPU训练的过程。最后，在数学拓展部分，对s

2024-10-05 20:24:47 1174 1

原创第十四周机器学习笔记：Transformer（下）；Pytorch学习——完整的模型训练套路；数学拓展——梯度（gradient）

本周周报在机器学习的理论内容中，概述了Transformer里面Decoder的内容，其中包括Decoder的结构、autoregressive decoder（自回归解码器）以及non-autoregressive decoder（非自回归解码器），此外还讲述了Transformer 的训练过程，并在最后提供了序列到序列模型训练常用的Tips。在Pytorch代码学习中，本周报详细的讲述了训练模型的一些常用手段和流程，并通过代码实现了包括数据收集、模型搭建、模型训练、结果展示等过程。

2024-09-29 11:42:14 1003

原创第十三周机器学习笔记：Transformer（上）；Pytorch学习——网络模型的保存与读取；数学拓展——标量、向量、张量求导的推导

本周周报在机器学习的理论内容中，描述了Sequence to Sequence model的重要性以及使用的普遍性，其应用场景非常广泛，比如：语音识别、文本翻译、语音翻译、聊天机器人、Q＆A（NPL）、语法辨析、多标签分类中的应用。文章通过介绍Seq2Seq，引出了Seq2Seq最常用的模型——Transformer，然后介绍了Transformer的结构以及深入探讨了Transformer encoder，其中包括encoder的功能、encoder的结构，此外还提及了残差连接（residual conn

2024-09-20 21:49:42 686

原创第十二周机器学习笔记：Recurrent Neural Network（下）、Pytorch学习——现有的网络模型使用以及其修改；数学拓展——高斯（正态）分布的推导

本周主要继续对RNN的更深层次内容进行了学习，例如学习了RNN的是如何train的、RNN特殊的性质以及如何解决RNN的特殊性质引发的vanish gradient问题，最后对RNN的应用进行了总结。此外，本周还继续对Pytorch进行了学习，主要学习了如何将一个数据集训练的模型通过调参应用到另一数据集中。最后，还对高斯分布的数学推导过程进行了研究学习。

2024-09-14 13:14:54 1019

原创第十一周机器学习笔记：注意力机制（下）、Recurrent Neural Network（RNN，循环神经网络）；Pytorch学习——优化器代码实战

本周周报主要讲述了注意力机制中更加细节的内容，周报讲述了相关的复杂性如果通过多头注意力机制解决的方法，并讲述了注意力机制如果通过位置编码方式解决先后位置的问题。此外，本周周报在注意力机制的章节中，将self-attention与CNN和RNN进行了比较以及其在实际场景的应用。在RNN的章节中，本周报详细描述了RNN的概念、RNN的变形拓展、以及LSTM。然后，本周报在Pytorch的章节，讲述了优化器的概念以及原理，并在最后展示了优化器使用的代码。

2024-09-07 11:34:05 1691

原创第十周机器学习笔记：self-attention（注意力机制）、Pytorch学习——损失函数代码实战、反向传播算法代码实战

这一周作者主要对注意力机制进行了学习，其中了解了引入注意力机制的原因、注意力机制的使用场景以及注意力机制的原理，此外在pytorch的学习中，作者对三种计算损失函数的方式，比如，绝对平均值误差、均方误差、交叉熵损失进行了代码实战学习。

2024-08-31 01:33:31 1610

原创第九周机器学习笔记：Spatial Transformer；Pytorch学习——线性层、其他层的介绍、搭建小实战以及Sequential

本周主要对李宏毅的机器学习视频进行了学习，其中学习了CNN的一个特殊的网络结构——spatial Transformer，学会了其怎么完成平移、缩放以及旋转的原理以及期间了解到了Interpolation（插值）算法，最后还了解了其应用场景。此外，继续对Pytorch进行了学习，重点学习了线性层，了解了其改变shape的作用，然后还了解了其他层，例如，归一化层、循环层等特定的网络结构。最后，做了一个小项目，把CIFAR-10的Model复现出来，并学会了使用Sequential。

2024-08-23 17:48:13 1577

原创第八周机器学习笔记：Deep network v.s. Fat network、为什么用来验证集结果还是不好；Pytorch学习——卷积层、最大池化层、非线性激活层代码实战

本周学习对李宏毅机器学习视频与Pytorch的CNN部分知识进行了学习，在李宏毅的机器学习中，主要进行了理论方面的知识，了解到了机器学习的细节内容以及对前几周验证集知识的补充。此外，在Pytorch中对CNN进行了继续的学习，进行了卷积层、最大池化层和非线性激活层的代码实战，并在tensorboard中图像化的显示了各层操作后图片的变化。

2024-08-18 19:33:47 987

原创第六周机器学习周报：自动调整学习率、学习率调整策略；Pytorch学习——torchvision中数据集的使用、DataLoader的使用

这一周对机器学习进行了学习，其中学会了如何自动调整学习率中调整参数的知识进行了，对RMS与RMSProp的算法进行了学习和理解。此外，还继续学习了Pytorch，学会了torchvision与DataLoader的使用，了解了其中参数的作用。

2024-07-31 02:55:40 972

原创第五周机器学习笔记：局部最小点和鞍点（Momentum(动量)、Local minima和saddle point）、批次（Batch）；Pytorch学习——Transforms

这一周继续进行了机器学习，主要学习了如何处理神经网络训练不起来的情况，其中深入了解了局部最小点和鞍点与动量以及批次的概念以及细节内容，此外还对Pytorch进行了学习，学习了Transforms的结构以及用法还了解了常见的Transforms。

2024-07-26 02:35:22 1056

原创第四周机器学习笔记：机器学习任务攻略（loss on training data、Cross Validation（交叉验证））；拓展专题——贝叶斯；Pytorch——TensorBoard学习

这一周对李宏毅机器学习内容进行了更进一步的学习，学习了机器学习任务攻略。此外还对贝叶斯定理进行了更进一步的拓展学习，加深了对贝叶斯定理的理解。最后对Pytorch进行了学习，学会使用了Tensorboard。比如说有一个家人，有父亲、母亲、和一个正在读初中的儿子母亲有一天打扫房间卫生，发现儿子的房间多了一个打火机，于是她就会怀疑在小学的儿子是不是在外面结识了社会人士学会抽烟了。出于对儿子的担心于是她咨询她的朋友，她的朋友是一名数学家，于是她的朋友告诉她就可以用贝叶斯定理来计算她儿子抽烟的几率有多大。

2024-07-25 09:55:35 1195

原创第三周机器学习笔记：Classification、Generative(生成模型) V.S. Discriminative(判别模型)、Multi-class Classification

这一周学习了classification的宝可梦案例，对Classification的应用场景、Classification的实现步骤、以及对Probability Distribution（概率分布），如：高斯分布、和一些概率论的基础知识进行了学习。此外还学习了Logistic Regression（逻辑回归），学习了Logistic Regression的三个步骤和它的限制，并理清了Generative(生成模型) V.S. Discriminative(判别模型)的区别以及优劣势，其中学习到了贝叶斯公

2024-07-14 21:21:42 1236

空空如也

空空如也