洪水预报性能堪比美国国家气象局,知识引导型机器学习模型FHNN结合实时观测数据改进预测效果

损失函数与优化器:从「梯度是怎么被造出来的」到「梯度是怎么被用掉的」 本文揭示损失函数与优化器本质一体:优化器仅依赖损失产生的梯度,而损失决定梯度的方向、尺度与噪声特性。错误的损失选择(如分类用MSE)会导致梯度失衡,使优化器失效;不同损失(如Huber、Focal)通过调控梯度分布影响优化过程。实测表明,归约方式、标签结构与损失配对直接决定梯度行为,进而影响收敛性与泛化。核心观点:选对损失,才是让优化器“看得懂”的前提。 阅读详情

作者:梅菜

编辑:李宝珠

转载请联系本公众号获得授权,并标明来源


来自明尼苏达大学双城分校的研究团队开发了一种创新知识引导型机器学习模型,该模型的算法结构直接受到水文学科学知识的启发,被称为因子化层级神经网络(FHNN)。研究表明,在预报发布后 2–7 天的时间尺度上,该模型的性能与美国国家气象局的洪水预报相当甚至更好,并且优于未在结构中融入物理科学知识的主流机器学习方法。

洪水是全球最常见、影响范围最广的自然灾害之一,对社会经济和公共安全造成长期威胁。随着气候变化导致极端降雨事件频率增加,洪水风险在许多地区呈现出明显上升趋势。准确、及时的洪水预报不仅能够为防灾减灾提供重要依据,也能为水资源调度、城市管理以及农业生产提供关键决策支持。

长期以来,洪水预报主要依赖物理过程模型(Physics-Based Models, PBM),基于水文循环理论,通过模拟降水、蒸发、土壤含水量变化、地下水补给以及河流汇流等过程来预测径流变化,例如,美国国家气象局广泛使用的 Sacramento Soil Moisture Accounting Model(SacSMA)就是一种典型的流域水文模型。物理模型具有明确的科学机理基础,在水文研究和业务预报中发挥了重要作用。然而,这类模型通常需要复杂的参数校准,而且对于具有强非线性特征的水文过程,其模拟能力往往受到一定限制。

近年来,AI 技术在水文学领域迅速发展,尤其是深度学习模型在径流预测中的应用越来越广泛。长短期记忆网络(LSTM)等时间序列神经网络能够从大量历史数据中学习复杂的降雨—径流关系,在许多研究中表现出优于传统模型的预测能力。

然而,纯粹的数据驱动模型也面临新的挑战。一方面,这类模型往往缺乏物理可解释性,难以体现真实的水文过程;另一方面,在极端气候事件或未观测流域中,其泛化能力仍存在不确定性。因此,在水文学界逐渐形成了一种新的研究思路,即将领域知识融入机器学习模型,从而构建既具有高预测能力又符合物理规律的智能模型——这一方向被称为「知识引导机器学习(Knowledge-Guided Machine Learning, KGML)」。

在这一背景下,来自明尼苏达大学双城分校的研究团队开发了一种新的知识引导型机器学习模型。该模型的算法结构直接受到水文学科学知识的启发,被称为因子化层级神经网络(FHNN)。研究表明,在预报发布后 2–7 天的时间尺度上,该模型的性能与美国国家气象局的洪水预报相当甚至更好,并且优于未在结构中融入物理科学知识的主流机器学习方法。

相关研究成果以「Knowledge-Guided Machine Learning for Operational Flood Forecasting」为题,已发表于 Water Resources Research。

研究亮点:

* 研究提出的方法通过逆向模型整合观测信息,构建具有层级关系的多尺度流域状态表示

* 在预报生成 12–18 小时之后,FHNN 模型整体上优于使用物理机理模型的专家人工预报员

* 研究提出的方法优于一种当前最先进的替代模型(自回归 LSTM),尤其是在干旱流域中表现更好,而这些地区往往是其他方法较难预测的区域


论文地址:
https://agupubs.onlinelibrary.wiley.com/doi/10.1029/2024WR039064
关注公众号,后台回复「FHNN」获取完整 PDF

数据集:兼顾基准数据集和业务数据集

为了验证模型的预测能力,研究人员使用了两类数据集:

大样本 CAMELS-US 基准数据集

在模型训练与基础评估阶段,研究使用了著名的 CAMELS-US 数据集。CAMELS(Catchment Attributes and Meteorology for Large-Sample Studies)是近年来水文学研究中最具影响力的数据集之一,其核心特点是包含大量流域的长期水文气象观测数据。CAMELS-US 数据集覆盖美国大陆范围内数百个流域,包含降水、气温、蒸散量以及河流径流等日尺度数据,同时还提供丰富的流域属性信息,例如地形、气候类型、土壤条件以及植被覆盖情况等。这些信息为研究不同环境条件下的水文过程提供了重要基础。

在本研究中,研究人员选取了 531 个流域作为实验对象,并按照时间顺序将数据划分为训练期、验证期和测试期:

* 1985–1993 年作为训练期

* 1993–1995 年作为验证期

* 1995–2005 年作为测试期

业务洪水预报数据

除了标准数据集之外,研究还进一步引入了真实的业务洪水预报数据,以检验模型在实际预报环境中的表现。研究选择了美国国家气象局北中部河流预报中心(NCRFC)负责的多个流域作为案例。这些流域位于美国中西部地区,具有典型的大陆性气候特征,既会发生由强降雨引发的洪水,也可能出现融雪洪水,因此具有较强的代表性。相关水文数据主要来自美国地质调查局(USGS)的河流流量观测资料,而降水与温度等气象数据则来自国家气象局的预报数据库。

值得注意的是,美国国家气象局的洪水预报系统采用「人工参与预报」的模式。在这一模式下,物理模型首先生成初始预报结果,随后由经验丰富的水文预报员根据实时观测信息和专业知识对模型结果进行调整,最终形成官方预报。这种方法在许多情况下能够显著提高预报准确度。因此,在本研究中,将人工专家预报与自动化机器学习模型进行对比具有重要意义,因为这能够直接反映 AI 模型在真实业务环境中的应用潜力。

模型框架:知识引导型架构 FHNN

FHNN 是一种知识引导型架构,旨在建模多个时间尺度上复杂且具有层级关系的系统动力学过程。

这种层级相互作用的状态结构对于流域水文学建模至关重要。例如,一次暴雨事件会使近地表土壤水分储量迅速变化,这些水分会通过蒸散作用被植物利用,而蒸散过程又可能在小时、日和季节尺度上发生变化。同时,这次降雨还会随着时间推移,通过较深的土壤层为地下水储量进行补给,而地下水变化通常较为缓慢。此外,近地表土壤水分储量还会影响降雨或融雪有多少会转化为导致洪水的径流。

FHNN 方法旨在捕捉这些在水文学和径流生成过程中普遍存在的多尺度和层级结构过程,其整体架构如下图所示:


用于径流预测的多尺度 LSTM 架构

在 FHNN 架构中,知识通过两种方式被引入:

方式一:采用编码器—解码器(encoder-decoder)架构

该方式通过状态编码器(逆向模型)和响应解码器(正向模型)显式建模正向与逆向过程。编码器部分被视为「逆模型」,其主要功能是利用历史气象和径流数据推断当前流域的内部状态。例如,通过分析过去的降水、温度以及径流变化,模型可以估计当前土壤含水量、地下水储量等关键变量。虽然这些变量在现实中难以直接观测,但通过机器学习方法可以对其进行有效估计。在获得流域状态之后,模型进入解码阶段。

解码器被视为「正向模型」,其任务是在已知流域状态的基础上,根据未来天气预报信息预测未来的径流变化。

FHNN 模型通过端到端训练,以最小化预测响应与真实响应数据之间的差异。此外,每当获得一次径流观测值(响应)时,该架构都会在实时更新编码器状态,从而实现动态数据整合。

方式二:通过层级因子化设计将知识引入 FHNN 架构

在这种设计中,FHNN 的编码器被构建为能够捕捉多尺度过程及其相互作用。层级状态编码器使用多个双向 LSTM,输入历史径流观测和气象数据,为不同时间分辨率/尺度(例如慢、中、快)生成嵌入表示(embedding)。

这些嵌入提供了对历史驱动数据、系统响应以及它们多尺度相互作用(季节尺度、次季节尺度以及日/次日尺度)中所包含信息的压缩表示。这些嵌入作为潜在系统状态(例如土壤水分、空间连通性、积雪储量)的压缩表示(compressed representation),被拼接后用于初始化解码器的隐藏状态和单元状态。随后,解码器将未来天气驱动因子作为输入,生成径流预测。编码器与解码器通过一个目标函数进行联合训练,该目标函数最小化预测径流与观测径流在目标预测时间窗口内的均方根误差(RMSE)。

双向 LSTM 会同时从两个方向读取序列,这种方法使编码器能够利用观测数据中的所有可用关系,从而获得对流域内部状态更全面的认识。这种方法在水文学上也具有直观意义。例如,研究人员可以通过观察降雨及其滞后径流响应来获取土壤水分信息;同样也可以通过先观察径流响应,再分析产生该事件的降雨输入来推断土壤水分状况。双向 LSTM 编码器使模型能够通过这两种「视角」分析历史数据,并得到用于初始化解码器隐藏状态和单元状态的最终「最佳估计」。

FHNN 整体优于使用物理机理模型的专家人工预报员

研究人员通过多个实验展示 FHNN 在水文预报中的预测能力——第一组实验在大样本 CAMELS 数据集上,将 FHNN 与一种具有相同输入变量和数据整合能力的领先深度学习方法 LSTM-AR 进行比较;第二组实验则关注 FHNN 在业务预报环境中的表现,评估对象为美国中西部 NWS 官方预报站点。

与 LSTM 模型对比

在 CAMELS-US 数据集上,FHNN 与传统自回归 LSTM 模型(LSTM-AR)进行了对比。在 7 天预测期内以及总体上,FHNN 的预测能力均优于 LSTM-AR。即使在两种模型都只针对 1 天预报进行训练的情况下,FHNN 仍然表现出更好的性能,总体性能见下表:


全局 FHNN 与 LSTM-AR 在大样本 CAMELS-US 数据集上的性能比较

通过分析各流域性能差异与流域特征之间的关系图,研究人员还发现 FHNN 在降水量较低的流域、径流系数较低的流域、干旱程度较高的流域表现优于 LSTM-AR,如下图:


CAMELS-US 各流域 FHNN 与 LSTM-AR 的 NSE 差值

相对于降水量、径流系数和干旱指数的关系图

在基流指数、潜在蒸散量(PET)和流域坡度方面,没有观察到明显趋势。这一结果表明,在干燥流域以及总径流与总降水比例较低的流域中,FHNN 相对于 LSTM-AR 的性能优势最大。

研究人员还在 NWS 的 KALI4 流域上比较了 FHNN 与 LSTM-AR,并进一步与 NWS 专家人工预报员的预测能力进行比较,如下图:


在 KALI4 流域(12 次洪水事件)中,对 FHNN、NWS 专家预报员和 LSTM-AR 的比较

结果表明:在预报发布后的第一天内,使用 SacSMA 模型的 NWS 专家预报员的预测能力高于 FHNN 和 LSTM-AR;但在同一时间段内,FHNN 的性能仍优于 LSTM-AR,并且在洪水事件中表现出更好的数据整合能力。在 2–4 天及更长的预报提前期内,FHNN 相对于 NWS 预报和 LSTM-AR表现出最高的相对预测能力。

与业务预报对比

研究还分析了46 次真实洪水事件,结果显示:FHNN 在 65% 的事件中优于官方预报,如下表:


各流域每次洪水事件中,美国国家气象局专家人工预报员与 FHNN 模型的业务预报表现对比

从预报提前期来看:对于水位预报(即 NWS 实际发布的预报),FHNN 在预报发布后 12 小时(2 个时间步)开始优于 NWS 专家预报员;对于流量预报,FHNN 在 18 小时(3 个时间步)之后优于 NWS 专家预报员,在第 2 天至第 3–4 天之间(取决于评价指标),FHNN 的预测能力明显高于人工预报员;第 4 天之后,FHNN 与人工预报员之间的预测能力不再存在显著差异。

洪峰预测能力

一个关键的性能指标是预测洪峰水位(stream stage crest)时的误差,即某次降雨或融雪过程在径流过程线(hydrograph)中所达到的最高峰值。于是,研究人员评估了 FHNN 与 NWS 人工预报员在洪峰预测方面的性能(两者都使用存在不确定性的未来降水预报)。同时,其还将 FHNN 与人工预报员的性能与预报员使用的基础 SacSMA 模型进行了比较。结果表明,FHNN 在洪峰预测方面明显优于未经人工修正的物理模型,但仍略低于专家预报水平。

在几乎所有提前期(除约 60 小时以上的提前期外),人工预报员在洪峰估计方面都优于 FHNN,如下图:


FHNN 方法在不同洪峰提前期下的洪峰预测误差

然而,即使使用不完全已知的未来天气条件,FHNN 对洪峰的估计仍然优于仅使用观测降水驱动、但没有预报员干预的 SacSMA 模型。

在洪峰发生前 48 小时至 18 小时之间,FHNN 与人工预报员通过数据整合带来的预测改进速率相似。在此期间,每 6 小时预报更新一次,洪峰预测误差(RMSE)大约减少 0.2 英尺;然而,在洪峰发生前 2.5 天以内的所有预报中,人工预报员仍保持预测优势;在洪峰前 12–18 小时(2–3 个时间步),FHNN 的洪峰预测 RMSE 基本不再下降,甚至略有上升。

这表明在接近洪峰时,FHNN 对系统变化的响应能力不如人工预报员敏感。这一结果也与整体预报能力的比较一致,即 NWS 在预报发布后的前 12–18 小时内具有更高预测能力。FHNN 在接近洪峰时响应能力不足,可能与极端值预测问题有关。对于任何 LSTM 模型而言,由于训练数据中极端洪峰事件较少,预测最高洪峰值往往比较困难。

人工智能在水文研究中的应用进展

近年来,人工智能技术正在深刻改变水文研究与业务预报的技术路径。从早期基于统计回归的方法,到如今以深度学习为代表的数据驱动模型,水文预测正逐步迈向更加智能化和自动化的发展阶段。

在具体应用层面,以长短期记忆网络(LSTM)为代表的时序深度学习模型已成为当前水文预测的主流工具之一。大量研究表明,这类模型在多流域径流模拟中普遍优于传统物理模型,尤其是在数据丰富的地区,其预测能力更加突出。

近年来,Transformer 架构也逐步被引入水文领域,其在长序列建模方面的优势,为捕捉长期水文记忆提供了新的可能。与此同时,学术界和工程界也逐渐认识到,单纯依赖数据驱动模型存在一定局限。例如,模型缺乏物理约束可能导致结果在极端情况下不符合水文规律,且模型可解释性较弱。因此,「物理信息驱动」或「知识引导」的机器学习方法成为新的研究热点。

在最新研究进展方面,多源数据融合正成为提升水文模型能力的重要方向。遥感数据(如卫星降水、土壤湿度、雪水当量)与地面观测数据的结合,使模型能够获得更加全面的流域信息。同时,图神经网络(GNN)也开始被用于流域之间的空间关系建模,有助于提升区域尺度洪水预测能力。

近期,Google Research 开源了洪水数据集 Groundsource,用于从非结构化数据中提取经过验证的地面实况信息,从而以前所未有的精度绘制出历史灾害的足迹。研究人员对来自 150 多个国家的超 500 万篇新闻报道进行自动化处理,最终整理出超过 260 万条历史洪水事件记录,为全球洪水研究提供了前所未有的数据规模与覆盖度。

目前,「Groundsource 全球洪水事件数据集」已上线至 HyperAI 官网(hyper.ai)的数据集板块,支持在线使用:
https://go.hyper.ai/KO3dB

在更早之前,来自 Google Research 的 Grey Nearing 及其团队还开发了一个基于机器学习的河流预报模型 (river forecast model),该模型能够提前 5 天实现对洪水的可靠预测,在对 5 年一遇的洪水事件进行预测时,性能优于或相当于目前预测 1 年一遇的洪水事件,系统可覆盖 80 多个国家。

论文标题:Global prediction of extreme floods in ungauged watersheds
论文地址:https://www.nature.com/articles/s41586-024-07145-1

从业务应用角度看,人工智能并不会完全取代传统水文预报员,而更可能以「人机协同」的方式发挥作用。AI 模型可以提供快速、稳定的预测结果,而专家则可基于经验对关键情景进行修正和判断。这种协同模式不仅能够提升预报效率,也有助于增强系统在极端事件中的可靠性。随着数据规模的持续扩大和算法能力的不断提升,未来的洪水预报系统将更加智能、高效且具备更强的适应性,为防灾减灾和水资源管理提供更加坚实的技术支撑。

参考文献:
1.https://agupubs.onlinelibrary.wiley.com/doi/10.1029/2024WR039064
2.https://phys.org/news/2026-03-ai-higher-accuracy-current-methods.html
3.https://mp.weixin.qq.com/s/ZWU-v_4k7FIm0MoDh6Rxuw
4.https://www.nature.com/articles/s41586-024-07145-1

一键获取 2023—2024 年 AI4S 领域高质量论文及深度解读文章 ⬇️

 往期推荐 

戳“阅读原文”,免费获取海量数据集资源!

Origin 2025b中文版安装全指南:避开乱码、水印与崩溃陷阱 Origin作为科研绘图领域的事实标准,其2025b版本首次官方支持简体中文UI,但安装远非‘下一步’即可完成。核心在于理解软件本体、语言包、许可证服务与系统区域设置四者间的耦合关系——尤其Windows非Unicode程序语言必须设为‘中文(简体,中国)’,否则必然触发坐标轴乱码、PDF文字方块等典型故障;而AI辅助拟合、内置Python 3.11等新特性,又依赖正确的字体链(如SimSun)与注册表强制加载(UILanguage=zh-CN)才能稳定启用。该版本广泛应用于材料科学、电化学、XRD/SEM 阅读详情

相关推荐

DASH 流媒体协议(Dynamic Adaptive Streaming over HTTP)概述——起源、MPD文件解析、相关项目

简单介绍DASH的起源与发展、MPD文件简要解析、相关项目,以及常见流媒体协议的比较

farewellyi的博客 6888

洪水预报性能堪比美国国家气象局,知识引导型机器学习模型FHNN结合实时观测数据改进预测效果 原创

来自明尼苏达大学双城分校的研究团队开发了一种创新知识引导型机器学习模型,该模型的算法结构直接受到水文学科学知识的启发,被称为因子化层级神经网络(FHNN)。研究表明,在预报发布后 2–7 天的时间尺度上,该模型的性能与美国国家气象局的洪水预报相当甚至更好,并且优于未在结构中融入物理科学知识的主流机器学习方法。

HyperAI超神经 468

群晖Hyper Backup还原实战:加密与非加密备份的完整操作指南

本文详细介绍了群晖Hyper Backup在加密与非加密备份场景下的完整还原操作指南。通过实战案例和高级技巧,帮助用户应对硬盘故障或系统崩溃时的数据恢复挑战,特别是加密备份恢复中的关键节点和常见陷阱。

weixin_29323365的博客 440

【机器学习300问】139、Post-LN 和 Pre-LN 的区别?

Post-LN与Pre-LN的核心区别在于LayerNorm的位置:Post-LN在残差连接后,导致梯度需经LayerNorm变换,深层易出现梯度衰减或震荡;Pre-LN先做归一化,使输入稳定,残差路径梯度可无损回传,显著提升深层训练稳定性。尽管Pre-LN支持更深层次模型(如LLaMA、Qwen),但存在“深度诅咒”——深层贡献不足。相比之下,Post-LN浅层表现尚可,深层数易发散。因此,现代大模型普遍采用Pre-LN以保障训练可靠性。

qq_39780701的博客 397

4G+GNSS定位模块DX-CT511N-B:AT指令实战与多协议通信指南

本文详细介绍了4G+GNSS定位模块DX-CT511N-B的AT指令实战应用与多协议通信配置。内容涵盖TCP/UDP通信、MQTT协议集成、HTTP服务交互以及GNSS定位功能的深度解析,为开发者提供从基础指令到高级调试的完整指南,助力物联网设备开发。

hope8的博客 289

MAX30102心率血样模块在STM32F103芯片的程序说明

我希望你已经安装好了Keil MDK5这个软件,也安装了M3内核,可以编译一些STM32F103的一些项目下载程序后步骤: 1-按照下图找到IIC.uvprojx并打开(途中唯一绿色那个图标) 2-编译一次 3-确保0错误,0警告,下图所示 4-点击目标选项,然后找到STM32F103C8,再点debug–CMSIS****(我实际用的JTAG,用不了,选择这个CMSIS****即可)下图所示 5-下图所示,看看你的串口找到了没,找到了就点左下角的OK 6-按图上传到开发板 7-MAX30102接线方法

weixin_51357422的博客 5801

机器学习基础|监督学习、标签、回归

网约车预估等待时长依赖监督学习中的回归任务。平台利用历史订单数据,以司机实际到达耗时为标签,通过上车点、时间、运力、路况等特征训练模型。模型不断优化预测值与真实耗时的误差,最终对新订单输出连续的预估等待时间,实现精准预测。

weixin_43971465的博客 242

ArcMap学习笔记(三)地图数字化

地图数字化前言地图数字化实现步骤1.加载地形图2.新建要素图层3.开启编辑环境4.设置捕捉环境5.选择数字化图层6.数字化控制点7.数字化等高线8.数字化图幅边框9.保存数字化成果总结 前言 使用软件:ArcMap10.4.1中文版 如果出现侵权,请在评论留言,我会及时删除,谢谢。 地图数字化 空间数据采集(输入)是将现有的地图、外业观测成果、航空像片、遥感图片数据、文本资料等转换成GIS可以直接...

JayWang博客 1万+

Hugging Face:成为机器学习界的“Github”

以下文章来源于OneFlow,作者OneFlow社区五年前,AI领域的知名研究者Andrej Karpathy发文称,传统人工编程属于“软件1.0”,“软件2

2601_96798011的博客 126

无人车路径规划方法汇总

无人车路径规划方法汇总

weixin_44380244的博客 2558

基于Simulink的无线充电系统LCC补偿网络建模与控制

本文详细介绍了基于Simulink的无线充电系统LCC补偿网络建模与控制方法。首先分析了LCC补偿网络的恒流输出、软开关实现和抗偏移能力等优势,并对比了不同补偿拓扑特性。随后分步骤讲解了Simulink建模流程,包括LCC主电路构建、关键参数设计、双闭环控制系统实现等核心环节。重点阐述了移相控制策略和软开关验证方法,提供了系统效率计算和抗偏移测试的调试技巧。最后展示了仿真结果,在耦合系数变化20%时,闭环系统仍能保持输出电压稳定在±2%波动范围内。文章还探讨了工程扩展方向,并针对常见问题给出了解决方案,为无

xiaoheshang_123的博客 539

这7个小众Python库,才是机器学习工程化的降效神器

别再只盯着TensorFlow了:这7个小众Python库,才是机器学习工程化的降效神器在很多人的印象里,机器学习似乎就是高深莫测的数学公式、成千上万的GPU集群

2601_96797912的博客 164

AUTOSAE软件配置-项目标准配置 (PSC) 导入达芬奇( DaVinci Configurator)

文件是“可拆分的”,这意味着如果格式符合 AUTOSAR 拆分规则,则可以与其他。)是一个ARXML文件,主要由OEM提供,其中包含。)工件,可以作为输入文件导入到达芬奇配置器专业版。导入的参数将以只读方式处理。不允许在多个 ARXML 文件中导入一个。的已存在数据或从输入文件派生的数据。可以作为输入文件导入到另一个。文件会覆盖用户配置的基本。元素和诊断数据预配置。定义 [数据结构]。中,可以导出一个或多个。

m0_49148264的博客 1011

机器学习——混淆矩阵(待更新)

二元: true表示真实==预测,positive表示预测值=1.

m0_61175448的博客 134

迈瑞BS系列全自动生化分析仪LIS协议接口手册(内含HL7和ASTM)

迈瑞BS系列全自动生化分析仪LIS协议接口手册,内含HL7和ASTM)

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

【机器学习300问】138、LayerNorm和BatchNorm的区别?

本文阐述了归一化与标准化在深度学习中的核心作用。输入层标准化可统一初始输入,但深层网络仍面临激活分布漂移。为此,提出BatchNorm与LayerNorm两种主流方法。

qq_39780701的博客 183

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

为什么生成对抗网络训练常不稳定,模式崩溃与判别器过强之间是什么关系?

当支持集不重叠时(即 $D$ 能完美区分真假),JS 散度为常数 $\log 2$,其梯度为 0。这意味着一旦 $D$ 训练得稍好,$G$ 就失去了学习方向,导致训练停滞。生成对抗网络(GAN)的训练本质上是生成器($G$)与判别器($D$)之间的非合作零和博弈。以下代码展示了如何通过梯度惩罚(Gradient Penalty)来约束判别器,避免其过强导致生成器梯度失效。判别器过强是导致模式崩溃的直接诱因之一,二者之间存在明确的**“梯度误导”**因果关系。

2402_84593233的博客 204

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

Spark06_MLlib机器学习

本文是《PySpark 从入门到实战》系列收官篇,带你用 Spark MLlib 走通机器学习全流程:从三要素与 7 步标准流程讲起,剖析 KNN、朴素贝叶斯、决策树三大算法原理,再以 KNN 手写、垃圾短信分类、决策树分类、逻辑回归鸢尾花(准确率 96.67%)、K-Means 聚类(轮廓系数 0.7345)五个案例落地,最后详解 TF-IDF 文本特征与余弦相似度。全文代码可直接运行,适合有 RDD 与 Spark SQL 基础的开发者快速上手。

2301_80420058的博客 451

AI 是怎样从数据中学习的?训练、验证、测试与推理

泛化能力(Generalization)指模型面对训练过程中没有见过的新数据时,仍然能够做出合理预测的能力。这是判断模型是否具有实际应用价值的重要标准。例如:一个用户流失预测模型,在历史数据上表现很好,但面对新上线的用户群体时,预测准确率明显下降。这可能说明模型学到的规律无法适应新的用户群体。泛化能力不仅取决于模型本身,也与训练数据是否具有代表性有关。训练数据只包含老用户,没有新用户。训练数据主要来自某个地区,实际业务却覆盖不同地区。过去的用户行为与当前用户行为已经发生变化。

dshizixu的博客 312

机器学习01,KNN使用与简单数学原理

个人笔记

qq_59247073的博客 265

机器学习教程,从入门到精通,高斯混合模型(GMM)——写给机器学习小白的保姆级教程(10)

高斯混合模型(Gaussian Mixture Model,简称 GMM):假设你手里的数据是由"好几堆正态分布的数据混在一起"形成的,GMM 的任务就是——把这几堆分开,并且描述清楚每一堆的样子。

qq_45746668的博客 120

AI小白入门|无监督学习到底是什么?

很多新手看完无监督学习的定义只会死记硬背。本文避开复杂公式,从真实业务场景切入,对比监督学习,讲清楚无监督学习的核心价值、适用场景、底层逻辑和容易踩坑的认知误区,帮你理解它在机器学习链路里的定位。

weixin_43971465的博客 181

机器学习01,了解与KNN

个人笔记

qq_59247073的博客 361

【slam公式】

F:状态转移矩阵H:观测矩阵R: 观测噪声协方差。

qq_44691564的博客 330

基于有效Token规模化的大模型预训练数据配方与工程体系研究——基于唐杰《高级机器学习》课程演讲

在此背景下,本文系统梳理GLM系列模型数据迭代轨迹,纠正数据墙认知偏差,分析天然数据与合成数据的互补机制,并完整构建支撑高质量Token挖掘的全链路数据工程体系,为大模型数据规模化建设提供理论与工程参考。早期小模型训练场景下,数据总量远大于算力可消化量,核心策略为择优筛选少量高质量数据。基于唐杰公开演讲核心观点、GLM数据迭代、数据墙、合成数据、清洗解析工具链、分层架构图、自研工程壁垒),完整重构成一篇结构严谨、逻辑连贯、标准期刊论文风格全文,预留精准图片插入位置,可直接定稿、查重、发表、结课提交。

interpromotion的博客 266

茶叶病虫害目标检测数据集

目标检测 yolo 目标检测数据集 茶叶病虫害目标检测数据集

DL_data_set的博客 391

分布式计算框架如何赋能大规模机器学习

PyTorch 和 TensorFlow 是当今最流行的深度学习框架,它们都提供了强大的内置库来支持分布式训练。其核心策略主要分为数据并行和模型并行。

Cat_fish_snow的博客 186
上一篇: ICLR 2026丨英伟达/牛津大学等提出原子级蛋白质结合剂生成方法,性能达SOTA级别
下一篇: 洪水预报性能堪比美国国家气象局,知识引导型机器学习模型FHNN结合实时观测数据改进预测效果 原创
HyperAI超神经
博客等级 码龄7年 8873粉丝 1753原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值