- 博客(102)
- 收藏
- 关注
RSS订阅原创 2025.12.21论文阅读
摘要： 本文探讨了量子计算在天气和气候预测中的应用潜力。通过介绍量子比特、叠加态和纠缠等基本原理，作者分析了量子算法求解非线性微分方程的能力，并以简单非线性模型为例验证了量子求解器的有效性。研究发现，量子求解器在15步积分内与经典方法和解析解高度一致，且其输出更接近经典系综平均结果，可能天然具备不确定性处理优势。然而，量子计算存在数据读取瓶颈和噪声问题，短期内难以替代经典计算机，但可能通过噪声模拟大气随机过程。未来需开发高效量子算法并研究量子-经典混合路径。 （150字）
2025-12-18 18:00:16
1024
原创 2025.12.14论文阅读
本文提出了一种用于短期风速预测的纯量子神经网络(QNN)模型。该模型采用变分量子算法架构，包含特征映射和浅层参数化量子电路，处理多变量气象数据并预测未来6小时风速。实验结果表明，QNN在RMSE、Pearson相关系数和Fac2指标上与传统MLP模型性能相当，且具有优异的泛化能力。研究发现浅层量子电路即可获得良好效果，这对当前NISQ设备的实际应用具有重要意义。研究验证了量子机器学习在可再生能源预测中的可行性，但未来需要在真实量子硬件上进一步验证其能耗优势和噪声鲁棒性。
2025-12-13 20:13:04
1079
原创 2025.12.6 论文阅读
本文提出了一种混合量子-经典模型QLSTM，通过变分量子电路(VQC)替代经典LSTM中的神经网络层。该模型采用基于反正切函数的量子编码方案，并利用Parameter-shift规则实现梯度计算。实验表明，在参数数量相近的情况下，QLSTM在学习时间序列数据时比经典LSTM收敛更快、更稳定，尤其擅长处理非线性动力学系统。虽然该模型在NISQ设备上具有应用潜力，但仍存在模拟算力瓶颈和噪声环境适应性等挑战。未来研究可优化量子电路结构并测试真实量子设备上的性能。
2025-12-06 20:25:44
731
原创 2025.11.30周报——文献阅读
本文探讨了量子机器学习（QML）在天气预报中的应用，通过构建量子神经网络（QNN）模型预测温度和风速，并与经典循环神经网络（RNN）进行对比。实验结果表明，QNN在1层强纠缠架构的温度预测和3层纠缠架构的风速预测中表现优于RNN，尤其在处理数据突变和复杂模式时展现出更强的适应性和鲁棒性。然而，QNN性能受网络深度和纠缠策略影响较大，且存在地理数据局限性和架构敏感性问题。未来研究可优化QNN架构，扩大地理区域验证，并整合高分辨率数据以提升极端天气预测能力。
2025-11-30 19:53:55
948
原创 最优传输理论学习（1）+PINN文献阅读
最优传输理论研究如何以最小成本将一个质量分布转换为另一个质量分布。其核心问题包括Monge问题和Kantorovich问题： Monge问题寻找确定性映射T，将μ中的质量一对一搬运到ν，但限制严格，可能存在无解情况（如狄拉克分布到高斯分布）。 Kantorovich问题通过松弛化，引入联合分布π允许质量拆分运输（一对多），以更灵活的方式优化总成本，确保解的存在性。 应用上，最优传输理论为WGAN等模型提供了数学基础，通过距离度量（如Wasserstein距离）提升生成模型的稳定性。质量守恒和成本函数是核心要
2025-10-25 20:24:14
990
原创 2025.10.19——PINN文献阅读
在河网水动力过程研究中，数值模拟是研究常用方法，但存在计算复杂、数据处理等问题。随着计算技术发展，一维水动力模型虽能模拟河网非恒定流，但计算需求有时较高。传统的机器学习算法发展为物理系统建模有着很大的帮助，计算效率高，但存在缺乏物理可解释性、等问题。物理信息神经网络（PINNs）将物理定律引入机器学习，在解决物理的偏微分方程方面有非常大的作用，但目前的PINNs用于河流水动力建模的研究非常有限，特别是在复杂河网的全面应用方面更是少之又少，因此本篇论的目的就是在探索将PINNs应用于河网非恒定流建模，作者过增
2025-10-23 16:50:17
1731
1
原创 《量子计算》学习笔记：量子计算的基本定义(续)
本文深入探讨了量子计算的核心原理，重点介绍了量子测量、多寄存器系统坍缩及量子信息协议。量子测量是连接量子与经典世界的桥梁，通过标准正交基概率性地提取信息并导致状态坍缩。在多量子比特系统中，局部测量会影响整个系统状态。文章详细解析了超密编码和量子隐形传态两种重要协议，它们利用量子纠缠和贝尔基测量实现高效信息传输。超密编码通过单比特操作编码两位经典信息，而隐形传态则结合量子操作与经典通信传输未知量子态。最后介绍了量子线路图和受控门等基本概念，为构建复杂量子算法奠定基础。
2025-10-05 11:54:18
1112
原创 量子计算学习笔记
本文系统介绍了量子计算的核心原理与数学基础。量子比特利用叠加态实现并行计算，其状态由复数概率幅描述，遵循量子力学的三大基本假设：量子态空间、幺正演化和复合系统张量积。量子计算的关键特性包括量子并行性、纠缠态和可逆运算，通过量子干涉实现高效算法（如Shor算法和Grover搜索）。然而量子退相干效应是主要挑战，需在远小于退相干时间内完成运算。这些原理为量子算法设计提供了理论基础，也指明了未来量子纠错技术的发展方向。
2025-09-21 13:31:06
1421
1
原创 2025.7.27文献阅读-基于深度神经网络的半变异函数在高程数据普通克里金插值中的应用
普通克里金是常用的空间插值方法，其半变异函数的拟合效果对插值精度有显著影响。常用的半变异函数模型有高斯、球形和指数模型，一般需手动比较和调整参数来选择最优模型。现有的半变异函数拟合方法存在手动分析选择模型和受所选模型限制的问题。为减少手动选择模型的繁琐过程，提高拟合优度，本文提出用DNN模拟半变异函数进行插值。本文提出了一种基于深度神经网络和普通克里金的空间插值新方法。通过Python的Keras建立DNN模型拟合半变异函数，以高程数据为案例研究。
2025-07-23 19:12:43
1145
原创 2025.5.11机器学习笔记：PINN文献阅读
本周阅读的文献探讨了物理信息神经网络（PINN）在求解圣维南方程（SVE）和平流-扩散方程（ADE）及其耦合方程中的应用。传统数值方法在处理这些问题时面临不连续性、数值误差和计算成本高等挑战，而PINN通过无网格离散化和处理噪声数据的能力，展现出显著优势。研究构建了PINN模型，在不同初始和边界条件下求解相关方程，并与解析或数值解进行对比，验证了其准确性和效率。实验结果表明，PINN在处理少量数据和复杂几何条件时优于传统方法，且在含噪声数据的反问题求解中表现良好。此外，PINN无需时间步迭代，能同时模拟流场
2025-05-09 15:14:05
1093
原创 2025.4.27机器学习笔记：文献阅读
传统数值算法求解浅水方程时，依赖复杂的网格离散化，计算成本高，且无法预测任意时间点的解。数据驱动的机器学习方法虽在多领域取得进展，但在复杂领域尤其是数据稀缺场景下应用受限。且传统机器学习算法未充分利用先验知识，导致算法泛化能力较低。因此本文提出一种改进的PINN算法求解浅水方程，算法基于PINN和LSTM模型，在损失函数中引入L1正则化项作为惩罚，并在LSTM网络结构中加入注意力机制。通过一维浅水方程模拟实验，与经典PINN算法对比，结果表明改进算法在捕捉细节和处理复杂现象等方面优势显著，虽增加了计算成本，
2025-04-23 13:17:24
1225
原创 2025.4.20机器学习笔记：文献阅读
随着城市化加速，城市洪涝防治对高精度洪水预报需求迫切。当前模型分为物理机制驱动与数据驱动两类：传统水文模型依赖精确地理数据且计算复杂；数据驱动模型虽效率高，但神经网络需要大量洪水时序数据，而实际洪灾事件稀少导致样本不足，易引发过拟合问题。针对TimeGAN在洪水场景的应用局限，本文提出新型双注意力数据增强网络TW-TimeGAN。该模型创新融合Transformer架构与Wasserstein距离损失函数，有效解决梯度异常问题，提升长期序列预测稳定性；通过特征-时间双注意力机制与RNN结合，增强了对降雨径流
2025-04-17 19:17:02
858
原创 2025.4.13机器学习笔记：文献阅读
河流在环境变化中有着重要的作用，且坝的形成水流与河床几何形态相互作用影响，因此理解二者关系对掌握河流物理过程至关重要。虽通过实际观测、模型实验、理论分析和数值模拟等方法对沙坝的形成和发展有了一定认识，但洪水期沙坝形成过程中的水流测量困难，导致对水流与河床相互作用的理解不足。本文提出利用物理信息神经网络结合浅水方程和质量守恒定律，以稀疏的流速和水位数据为训练数据，对交替沙坝上的复杂河流流量进行预测。实验结果表明，该方法能在无直接训练数据的情况下估算水深、河床高程和糙率系数，且训练数据间隔小于沙坝波长时，数据量
2025-04-11 08:46:46
1462
1
原创 2025.4.6机器学习笔记：文献阅读
河流水位动态对农业、工业和城市基础设施至关重要，准确预测有助于灌溉、供水、排水规划和洪水风险评估等领域的决策制定，尤其在极端天气事件中，实时预测对洪水预报和应急响应至关重要。但传统水动力模型，如HEC - RAS虽能通过求解圣维南方程提供高精度的河流水位模拟，但计算成本高，需要大量参数校准和精细的时空数据，导致实时预报在快速演变的洪水场景中效果不尽人意。而纯数据驱动的深度学习模型，如DNN、RNN、LSTM，缺乏物理可解释性，在应用于动态、未知的河流条件时泛化能力较差。物理信息神经网络（PINN）将物理方程
2025-04-01 16:41:47
974
原创 2025.3.30机器学习笔记：文献阅读
传统机器学习技术虽能作为替代模型进行数值预测，但存在对数据数量和质量的依赖，且在数据稀缺时表现不佳。为解决上述问题，物理信息神经网络（PINN）应运而生，PINN可用于解决正问题和逆问题，且通过自动微分计算导数，是一种无网格求解方法。因为山区河流建模困难，需同时处理渐变流和急变流等复杂情况。虽然PINN有在水动力学中的研究，但该论文发布前尚无针对山区河流的研究。所以这篇论文目的是测试PINN在不同流动类型和复杂河床形状的河流中的预测能力，并与传统的HEC - RAS模型求出的数值解进行比较，评估PINN的性
2025-03-29 23:16:59
936
1
原创 2025.3.23机器学习笔记：文献阅读
河流水质直接影响人类健康、生态系统、生物多样性以及社会和工业需求。准确预测溶解氧（DO）和水温（WT）等关键水质参数，能为决策者提供预警。高质量、高粒度的连续时间序列水质数据稀缺且获取的成本高，导致了数据存在不确定性和缺失值，限制了机器学习的预测技术的实施。传统时间序列数据生成模型难以捕捉数据复杂依赖关系，利用生成对抗网络（GAN）进行年度水时间序列数据生成并提高预测模型准确性的研究较少。本论文旨在探究利用水流量数据辅助生成水质和水量数据，并分析生成数据对深度学习预测模型的影响，以提高河流水质时间序列预测的
2025-03-22 18:56:39
1076
原创 2025.3.9机器学习笔记：文献阅读
洪水每年对全世界造成了巨大的损失，有效的洪水预警是重要防洪方式，但是现有洪水预测方法并不可靠，比如，传统的物理计算方法和数据驱动模型需大量水文和地貌数据，又因为极端洪水事件观测数据有限，这会导致模型的预测不准确。本论文基于时间序列GANs，探究其在洪水时间序列生成及预报中的作用，利用时间序列生成对抗网络进行洪水预测，应用TimeGAN和RTSGAN生成合成洪水时间序列。以中国西江流域为例，实验结果表明TimeGAN能准确高效模拟多站点洪水序列的时空相关性，RTSGAN在长序列时表现更优，且合成数据集可减少常
2025-03-06 21:42:07
1263
原创 2025.3.2机器学习笔记：PINN文献阅读
沿海地区人口增长，人类面临飓风和洪水等自然灾害风险增大。气候变化加剧极端风暴潮、降水及海平面上升，使洪水风险进一步提升，研究潮汐河流动力学对减轻洪灾风险至关重要。按照传统的方法，大规模河流模型是气候变化研究的重要工具，但在模拟局部洪水过程时存在不足。其物理可解释性和网格分辨率低，无法解析洪水泛滥的详细信息；统计和动力降尺度方法，但在河流建模中应用有限。传统线性插值降尺度方法无法解决网格单元内空间变化的水流问题。为解决以上问题，本文提出基于物理信息神经网络的机器学习框架，用于模拟大尺度河流模型在沿海地区的亚网
2025-03-02 12:55:43
1545
原创 2025.2.23机器学习笔记：PINN文献阅读
洪水灾害对世界各地的影响重大，造成了严重的社会和经济问题，洪水防控策略依赖于水文预报模型，而这些模型主要通过数据驱动方法获得。所以模型需要达到期望的精度需要大量物理参数，而这些参数往往难以确获取；且传统的数据驱动模型往往需要可靠且真实的数据保证模型的数值模拟准确性。所以在以上背景研究下，本论文提出了一个基于物理信息神经网络（Physics-Informed Neural Networks，PINNs）的河道水流替代模型，作者总共设计了三个PINNs模型架构A、B、C，通过调节模型的输入与输出参数以探究在不同
2025-02-21 17:13:59
1878
1
原创 2025.2.16机器学习笔记：TimeGan文献阅读
用生成模型生成时间序列数据是一件复杂的事，因为其要求生成模型既要捕捉各时间点特征分布，又要学习变量间的动态关系。在时序数据的生成中，自回归模型虽在序列预测中改进了时间动态性，并非真正的生成模型。此外，将生成对抗网络（GAN）框架直接应用于序列数据，但其未充分利用自回归的先验信息，仅靠标准GAN损失求和不能确保生成模型能有效捕捉训练数据中的多步依赖关系。为了解决以上问题，论文作者提出一种时间序列生成对抗网络（Time - GAN），该网络弥补了上述两种模型的缺陷，作者设计了一个包含嵌入函数、恢复函数、序列生成
2025-02-16 17:33:02
4163
3
原创 2025.2.9机器学习笔记：PINN文献阅读
PINN是一种结合了深度神经网络和现代高性能计算技术的方法，其可以用来求解复杂的非线性偏微分方程。虽然PINN有很多优点，比如能够处理复杂的方程，但在需要多次计算或实时模拟的情况下它的训练过程很慢。此外，PINN的结构通常比较复杂，参数太多，导致计算效率不高。传统的数值方法虽然也能解决这些问题，但计算量非常大。为了解决PINN的这些缺点，这篇论文提出了一种新的方法，叫做生成式预训练PINN（GPT-PINN）。GPT-PINN的核心思想是简化网络结构，减少计算量。GPT-PINN的外部结构非常简单，只有一个
2025-02-08 03:49:42
2056
原创 2025.1.26机器学习笔记：C-RNN-GAN文献阅读
生成对抗网络（GANs）目的是生成数据，而循环神经网络（RNNs）常用于生成数据序列。目前已有研究用RNN进行音乐生成，但多使用符号表示。本论文中，作者研究了使用对抗训练生成连续数据的序列可行性，并使用古典音乐的midi文件进行评估。作者提出C-RNN-GAN（连续循环生成对抗网络）这种神经网络架构，用对抗训练来对序列的整体联合概率建模并生成高质量的数据序列。通过在古典音乐midi格式序列上训练该模型，并用音阶一致性和音域等指标进行评估，以验证生成对抗训练是一种可行的训练网络的方法，提出的模型为连续数据的生
2025-01-26 02:47:04
1810
原创 2025.1.12机器学习笔记：GAN文献阅读
本周阅读了GAN的奠基论文，对GAN进行更加深入的理解，为后续要研究使用TimeGAN做时序数据的增强做理论知识的准备。深度学习在判别模型方面取得了显著成功，但深度生成模型的表现在当时的表现还是非常一般的，这是因为在直接构造分布函数的时候，计算最大似然值的过程往往是非常困难的。为了避开这些困难，作者提出了一种新的生成对抗模型框架，即通过生成器（Generator）和辨别器（Discriminator）不断的博弈从而使得生成器能够生成高质量的数据。在博弈过程中，生成模型试图生成难以被判别模型区分的数据，判别模
2025-01-12 20:16:17
1253
原创 第二十八周机器学习笔记：PINN求正反解求PDE文献阅读——反问题、动手深度学习
文献主要讲述了作者是如何利用物理信息神经网络（Physics-informed neural networks，PINN）正反解求偏微分方程（PDEs）。首先作者提出在数据量稀缺背景下，多数机器学习技术缺乏鲁棒性且无法保证收敛，而利用PINN求解相关的偏微分方程可以解决这类问题。。因此，作者在论文中详细讲述了深度学习与物理规定律相结合将物理定律融入神经网络的损失函数中，并提出偏微分方程的数据驱动求解和数据驱动发现两类主要问题展开研究。在研究中，作者根据数据的性质设计了连续时间和离散时间模型，其中，连续时间模
2025-01-05 16:01:18
2782
原创 第二十六周机器学习笔记：PINN求正反解求PDE文献阅读——正问题
本周周报主要详细分析了一篇PINN求正反解的经典文献，文献主要讲述了作者是如何利用PINN正反解求PDE的。之前的深度神经网络在缺乏数据的情况下很容易发生过拟合现象且缺乏鲁棒性。相比较之下，PINN的优势在处理这些问题时，就只需要少量的训练数据就可以训练出一个精确度较高的预测模型。其中，PINN的核心思想是通过在损失函数中构造物理规律的残差项，来对网络的预测值进行限制，然后再通过自动微分、反向传播技术使其不断优化模型，最终使得深度神经网络的预测的值即有精度的同时又符合当下的物理规律。PINN模型它不仅能够进
2024-12-22 20:32:18
2416
原创 第二十五周机器学习笔记：卷积神经网络复习、动手深度学习—线性回归、感知机
本周的周报主要对机器学习的核心概念和实践应用进行了复习和学习，本周复习了神经卷积网络（CNN）的基础知识，包括CNN的工作原理、卷积层、池化层以及它们在图像识别中的应用。在动手深度学习中，学习了了线性回归、softmax回归和多层感知机（MLP）的基本概念和实现，并通过代码示例展示了如何使用PyTorch框架来实现这些模型。此外，还讨论了过拟合问题及其解决方案，如权重衰减和丢弃法，并以Kaggle房价预测竞赛为例，展示了如何将这些概念应用于实际问题中。
2024-12-13 15:27:33
1461
1
原创 第二十四周机器学习笔记：动手深度学习之——统计学习知识
本文详细介绍了统计学习中的基本概念和算法，包括监督学习和无监督学习的区别、线性回归模型、K-means聚类算法、决策树、集成学习（包括Boosting和Bagging）以及贝叶斯定理及其在机器学习中的应用。
2024-12-08 19:35:17
1057
原创 第二十三周机器学习笔记：动手深度学习之——微积分
本文深入探讨了深度学习中的数学基础，特别是微积分在优化和泛化中的作用。文章首先回顾了微积分的历史和基本概念，包括逼近法、导数、微分和积分。接着，文章详细讨论了深度学习中的优化问题，包括损失函数的最小化和模型的泛化能力。文章还介绍了自动微分技术，这是深度学习框架中用于加速求导过程的关键技术。最后，文章通过一系列示例，展示了如何使用自动微分技术来计算梯度，包括非标量变量的反向传播、分离计算以及处理Python控制流的梯度计算。本文为读者提供了一个全面的深度学习数学基础概览，以及如何在实际应用中应用这些概念。
2024-11-29 21:45:13
977
原创 第二十二周机器学习笔记：动手深度学习之——线性代数
本文深入探讨了深度学习中的数学基础，特别是线性代数的核心概念。文章从标量、向量、矩阵和张量的定义和性质出发，逐步介绍了它们在深度学习中的应用。通过详细的代码示例和数学公式，本文展示了如何进行基本的算术运算、矩阵操作、点积、范数计算等关键操作。文章还讨论了降维技术，包括求和和平均值计算，以及它们在数据压缩和特征提取中的重要性。
2024-11-23 22:10:00
1540
原创 第二十一周机器学习笔记：动手深度学习之——数据操作、数据预处理
本文主要介绍了深度学习的基础知识和操作，包括数据操作、数据运算、数据预处理。最后复习了循环神经网络（RNN）和长短期记忆网络（LSTM）。在数据操作部分，详细讲解了张量的基本操作，如创建、形状调整、元素总数计算、初始化和元素赋值。数据运算部分则包括了张量的算术运算、连结、逻辑运算和求和。文章还介绍了广播机制和索引切片的使用方法。数据预处理部分，通过使用pandas库对CSV文件中的数据进行读取、处理缺失值、转换为张量格式。
2024-11-16 12:11:09
1475
原创 第二十周机器学习笔记：初步认识PINN
本文主要探讨了物理信息神经网络（PINN）的基本概念、工作机制、训练过程，并与传统机器学习模型进行了比较。PINN通过将物理定律嵌入损失函数中，实现了对物理现象的精确模拟和预测，减少了对数据量的依赖，并提高了模型在数据稀缺情况下的预测能力。文章还详细介绍了构建PINN模型的步骤，包括确定问题域和物理定律、选择网络架构、准备数据集、定义损失函数、训练模型、验证和测试模型、调参与优化以及解释和应用。此外，文章通过代码实战比较了RNN、LSTM和Transformer在股市预测中的表现，发现LSTM在这种时序预测
2024-11-10 17:29:40
6499
原创 第十九周机器学习笔记：GAN的数学理论知识与实际应用的操作
本周周报主要围绕生成对抗网络（GAN）的基础知识和理论进行深入探讨。首先回顾了GAN的基本概念、训练原理和应用场景。随后，周报详细分析了GAN背后的理论基础，包括如何通过高维空间中的点来理解图像生成，以及如何通过生成模型来寻找数据的分布。然后周报还描述了最大似然估计（MLE）在生成任务中的应用，并对比了传统方法与GAN的不同。然后复习了训练GAN的过程，包括如何通过判别器（Discriminator）来衡量两个分布之间的差异。最后，我们探讨了GAN的目标函数与JS散度（Jensen-Shannon Dive
2024-11-03 14:28:20
858
原创 第十八周机器学习笔记：生成式对抗网络（下）
本周周报主要对GAN剩下的知识进行了补充学习。周报详细描述了训练GAN存在的难点和训练GAN时的一些技巧，然后还介绍了如何去评估一个GAN的性能的好坏。此外，周报还补充了之前提到的条件型GAN（conditional GAN）。最后，周报通过头像风格迁移引出了Cycle GAN（循环对抗生成网络），并详细描述了其概念原理、应用场景以及其拓展。
2024-10-24 16:50:37
1263
原创 第十七周机器学习笔记：生成式对抗网络（中）
本周周报主要对GAN进行了详细的学习，周报详细介绍了GAN的理论和训练过程，并说明了使用JS散度训练会存在的一些问题。然后周报还详细介绍了WGAN算法替代JS散度的原因和具体方式，并对WGAN算法进行介绍和说明。
2024-10-20 16:55:14
1076
原创 第十六周机器学习笔记：Pointer Network（指针网络）、生成式对抗网络（上）；Pytorch学习——完整的模型验证套路
本周周报在机器学习的理论内容中，简单的介绍了Pointer Network 的运作原理，此外还详细描述了GAN，剖析了其内部结构，然后对其中的Generator 和 Discriminator的运作原理以及它们的互动方式进行简要的描述，最后还介绍了GAN的应用案例。在Pytorch的代码实践中，周报详细讲述了如何对模型进行验证的方法。此外，周报在最后还介绍了如何在GitHub上通读项目。
2024-10-13 15:22:56
1531
原创 第十五周机器学习笔记：各式各样神奇的自注意力机制；Pytorch学习——完整的模型训练套路（下）、利用GPU训练；数学拓展——通过矩阵运算加速self-attention的过程
本周周报在机器学习的理论内容中，详细描述了attention matrix计算的各种优化形式，其中包括用人类自身的理解而诞生的Local Attention、Stride Attention、Global Attention、Clustering，也有通过机器自身通过学习而诞生Sinkhorn Sorting Network，最后还有简化attention matrix格式的Linformer。此外，周报在Pytorch学习中还补充了模型训练的细节和描述了如何利用GPU训练的过程。最后，在数学拓展部分，对s
2024-10-05 20:24:47
1359
1
原创 第十四周机器学习笔记：Transformer（下）；Pytorch学习——完整的模型训练套路；数学拓展——梯度（gradient）
本周周报在机器学习的理论内容中，概述了Transformer里面Decoder的内容，其中包括Decoder的结构、autoregressive decoder（自回归解码器）以及non-autoregressive decoder（非自回归解码器），此外还讲述了Transformer 的训练过程，并在最后提供了序列到序列模型训练常用的Tips。在Pytorch代码学习中，本周报详细的讲述了训练模型的一些常用手段和流程，并通过代码实现了包括数据收集、模型搭建、模型训练、结果展示等过程。
2024-09-29 11:42:14
1269
原创 第十三周机器学习笔记：Transformer（上）；Pytorch学习——网络模型的保存与读取；数学拓展——标量、向量、张量求导的推导
本周周报在机器学习的理论内容中，描述了Sequence to Sequence model的重要性以及使用的普遍性，其应用场景非常广泛，比如：语音识别、文本翻译、语音翻译、聊天机器人、Q＆A（NPL）、语法辨析、多标签分类中的应用。文章通过介绍Seq2Seq，引出了Seq2Seq最常用的模型——Transformer，然后介绍了Transformer的结构以及深入探讨了Transformer encoder，其中包括encoder的功能、encoder的结构，此外还提及了残差连接（residual conn
2024-09-20 21:49:42
896
原创 第十二周机器学习笔记：Recurrent Neural Network（下）、Pytorch学习——现有的网络模型使用以及其修改；数学拓展——高斯（正态）分布的推导
本周主要继续对RNN的更深层次内容进行了学习，例如学习了RNN的是如何train的、RNN特殊的性质以及如何解决RNN的特殊性质引发的vanish gradient问题，最后对RNN的应用进行了总结。此外，本周还继续对Pytorch进行了学习，主要学习了如何将一个数据集训练的模型通过调参应用到另一数据集中。最后，还对高斯分布的数学推导过程进行了研究学习。
2024-09-14 13:14:54
1130
原创 第十一周机器学习笔记：注意力机制（下）、Recurrent Neural Network（RNN，循环神经网络）；Pytorch学习——优化器代码实战
本周周报主要讲述了注意力机制中更加细节的内容，周报讲述了相关的复杂性如果通过多头注意力机制解决的方法，并讲述了注意力机制如果通过位置编码方式解决先后位置的问题。此外，本周周报在注意力机制的章节中，将self-attention与CNN和RNN进行了比较以及其在实际场景的应用。在RNN的章节中，本周报详细描述了RNN的概念、RNN的变形拓展、以及LSTM。然后，本周报在Pytorch的章节，讲述了优化器的概念以及原理，并在最后展示了优化器使用的代码。
2024-09-07 11:34:05
1877
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人