神经网络替代密度泛函理论!清华研究组发布通用材料模型 DeepH,实现超精准预测

程序 · 杂谈 | 清华放大招:AI 重构电子结构计算,神经网络和 DFT 强强联手,材料模拟要变天 搞材料模拟的兄弟们都知道,密度泛函理论(DFT)是块硬骨头,算起来又慢又费劲!😩 不过,清华大学的课题组最近开发了一个名为 AI2DFT(基于清华自研算法Deep-learning DFT Hamiltonian的软件) 的神器,用神经网络来加速 DFT 计算,速度直接起飞。传统的深度学习 DFT 研究,都是先用 DFT 吭哧吭哧算一堆数据,然后再用这些数据来训练神经网络。这样做虽然也能提高效率,但是神经网络和 DFT 还是各玩各的,没有真正融合在一起。清华大学的这个 AI2DFT 就厉害了! 阅读详情

在材料设计中,了解其电子结构与性质是预测材料性能、发现新材料、优化材料性能的关键。过去,业界广泛使用密度泛函理论 (DFT) 来研究材料电子结构和性质,其实质是将电子密度作为分子(原子)基态中所有信息的载体, 而不是单个电子的波函数,从而将多电子体系转化为单电子问题进行求解,既简化了计算过程,又可以确保计算精度,能更准确地反映孔径分布。

然而,DFT 的计算成本极高,通常只能用于研究小尺寸的材料系统。受到材料基因组倡议的启发,科学家们开始尝试利用 DFT 构建庞大的材料数据库,虽然目前只收集到了有限的数据集,但这已经是一个了不起的开始。以此为开端,随着 AI 技术带来的全新变革,研究人员开始思考,「将深度学习与 DFT 进行结合,让神经网络深入学习 DFT 的精髓,能否带来一场革命性突破?」

这正是深度学习密度泛函理论哈密顿量 (DeepH) 方法的核心。通过将 DFT 的复杂性封装在一个神经网络中,DeepH 不仅能够以前所未有的速度和效率进行计算,而且随着训练数据的增加,其智能也在不断提升。 近日,来自清华大学物理系的徐勇、段文晖研究组成功利用其原创的 DeepH 方法,发展出 DeepH 通用材料模型,并展示了一种构建「材料大模型」的可行方案,这一突破性进展为创新材料发现提供了新机遇。

相关研究以「Universal materials model of deep-learning density functional theory Hamiltonian」为题,已发表于 Science Bulletin。

在这里插入图片描述

论文地址:
https://doi.org/10.1016/j.scib.2024.06.011

开源项目「awesome-ai4s」汇集了百余篇 AI4S 论文解读,并提供海量数据集与工具:
https://github.com/hyperai/awesome-ai4s

通过 AiiDA 构建大型材料数据库,针对性排除磁性材料干扰

为了证明 DeepH 通用材料模型的普适性,该研究通过自动交互式基础设施和数据库 (AiiDA) 构建了一个包含 104 种固体材料的大型材料数据库。

为了展示多样化的元素组成,该研究还选择了元素周期表的前四行,从而排除掉了从 Sc 到 Ni 的过渡元素,以避免磁性材料干扰,并排除了稀有气体元素。候选材料结构则来源于 Materials Project 的数据库。除了基于元素类型进行过滤之外,候选材料在材料项目中被进一步细化为只包括那些标有「非磁性」的材料。为简单起见,在晶胞中包含超过 150 个原子的结构被排除在外。

在这里插入图片描述

在这里插入图片描述

通用数据集的每个结构中原子和元素数量的分布

作为这些过滤标准的结果,最终的材料数据集由总共 12,062 个结构组成。在训练过程中,数据集按 6:2:2 的比例划分为训练集、验证集和测试集。接下来,该研究利用 AiiDA(自动化交互式基础设施和数据库)的框架开发了一个高通量的工作流程来进行密度泛函理论计算,并用它来构建材料数据库。

以 DFT 哈密顿量为目标,用 DeepH-2 方法训练 DeepH

研究认为,DFT 哈密顿量 (DFT Hamiltonian) 是理想的机器学习目标。

在这里插入图片描述

开发能够描述材料结构-性质关系的大型材料模型的可行途径

首先,DFT 哈密顿量是可以直接从总能量 (total energy)、电荷密度 (charge density)、能带结构 (band structure)、物理响应 (physical responses) 等物理量中导出的基本量, DeepH 通用材料模型则可以接受任意材料结构作为输入,并生成相应的 DFT 哈密顿量,从而可以直接推导各种材料特性,如上图所示。

在这里插入图片描述

DeepH 根据局部结构信息分别学习和预测 DFT 哈密顿矩阵块的工作原理

其次,在局域原子基组下,DFT 哈密顿量可以表示为稀疏矩阵,其矩阵元由局部化学环境决定。 在等变神经网络 (Equivariant neural networks) 中,DeepH 利用不同角量子数 l 标记的输出特征来表示 DFT 哈密顿量,如上图所示。因此,人们可以根据临近结构信息来建模原子对之间的哈密顿量矩阵元,而不需要对整个材料结构的 DFT 哈密顿量矩阵进行建模。这不仅大大简化了深度学习任务,而且极大地增加了训练数据量。在推理方面,一旦深度学习网络学习到足够多的训练数据,经过训练的模型就可以很好地推广到更多未被见过的新材料结构。

DeepH 的关键思想是利用神经网络来表示 HDFT。 通过改变输入的物质结构,首先创建的是由 DFT 代码生成的 HDFT 训练数据,然后将这些数据用于训练神经网络。这些经过训练的网络模型随后再被用来对新的物质结构进行推理。

在这个过程中,存在两个非常重要的先验知识——其一是局部性原则, 该研究在局域原子样本中表示 DFT 哈密顿量,并将哈密顿量分解为描述原子间耦合或原子内耦合的块。因此,单个训练材料结构可能对应于大量数据的哈密顿量块。此外,每个哈密顿量块可以根据局部结构的信息而不是整个结构来确定。这种简化确保了 DeepH 模型的高精度和可转移性。

其二是对称性原理, 当从不同的坐标系观察时,物理定律保持不变。因此,相应的物理量和方程在坐标变换下表现出等价性。保持等价性不仅提高了数据效率,而且增强了泛化能力,这可以显著提高 DeepH 的性能。第一代 DeepH 架构通过局部坐标系简化了等价问题,并通过局部坐标的变换恢复了等价特征。第二代 DeepH 架构基于等价神经网络,名为 DeepH-E3。在此框架中,所有输入、隐藏和输出层的特征向量都是等价矢量。最近,这项工作的作者之一提出了深度学习的新一代架构 DeepH-2。在效率和准确性方面,DeepH-2 表现最优。

综上,该研究的深度学习模型 DeepH 使用 DeepH-2 方法训练,共包含 1,728 万个参数,基于 3 个等价变换块组成了可用于消息传递的神经网络,每个节点和边缘携带 80 个等价特征。 材料结构的嵌入包含原子序数和原子间距离,采用高斯平滑策略,基函数的中心范围从 0.0 一直到 9.0Å。神经网络的输出特征则通过线性层传递,然后通过 Wigner-Eckart 层构建 DFT 哈密顿量。

该研究在 NVIDIA A100 GPU 上进行训练,共进行了 343 个时期,耗时 207 小时。在整个训练过程中,batch 大小固定为 1,这意味着每个 batch 包含一个材料结构。最后,初始学习率为 4×10-4,衰减速率为 0.5,衰减耐心为 20,最小选择的学习率为 1×10-5,并在学习率达到此值时停止训练。

DeepH 推理性能优异,可提供准确的能带结构预测

在训练、验证和测试集上,模型预测的密度泛函理论哈密顿量矩阵元的平均绝对误差 (MAE) 分别达到 1.45、2.35 和 2.20 meV,这表明该模型具有对未曾见过的结构进行推理的能力。

在这里插入图片描述

通用材料模型性能评估

在利用 104 种固体材料的大型材料数据库对 Deep-2 方法训练的通用材料模型进行性能评估时,在数据集的所有结构中,大约 80% 的材料结构具有小于平均值 (2.2 meV) 的平均绝对误差。只有 34 个结构(约占测试集的 1.4%)的平均绝对误差超过 10meV,说明该模型对主流结构有良好预测精度。

通过进一步分析数据集,模型在材料结构上的性能偏差可能是由于数据集分布偏差造成的。研究发现,数据集中包含的元素对的训练结构越多,相应的平均绝对误差就越小。这一现象可能表明深度学习通用材料模型存在「缩放法则」,即更大的训练数据集或许会提高模型性能。

在这里插入图片描述

DFT 计算和 DeepH 预测的结果比较

为了评估 DeepH 通用材料模型预测材料性质的准确性,该研究在计算示例时,分别使用了基于密度泛函理论 (DFT) 计算和 DeepH 预测的 DFT 哈密顿量,然后将这两种方法得到的计算结果进行了比较。结果表明,DeepH 预测的结果与 DFT 计算的结果非常接近,证明了 DeepH 在计算材料性质方面的出色预测精度。

在这里插入图片描述

用于研究特定材料的微调通用材料模型

在具体的应用中,该研究用微调通用材料模型对碳同素异形体进行了研究。其中,碳材料数据集来源于萨马拉碳同素异形体数据库 (SACADA),共包含 427 种具有不同原子结构的碳同素异形体。

研究人员基于此对通用材料模型进行微调,创建了一个专门针对碳材料的改进型 DeepH 模型。与无预训练模型相比,微调可以将预测 DFT 哈密顿量的平均绝对误差显著降低至 0.54 meV,还可以在少于 50% 的训练结构中实现可比较的预测精度。

此外,微调还显著改善了训练收敛,并减少了训练时间。可以说,微调有助于提高预测准确性并增强训练效率。更重要的是,微调后的 DeepH 模型在预测材料性质方面表现出了显著的优势,经过微调的模型几乎可以为所有测试结构提供准确的能带结构预测。

材料大模型风起云涌, AI4S 任重道远

以 ChatGPT 为时间起点,AI 正式进入了一个全新的「大模型时代」。这个时代的特点是利用庞大的数据集和先进的算法,训练出能够处理复杂任务的深度学习模型。在材料科学领域,这些大模型正与研究者们的智慧相结合,开启了一个前所未有的研究新纪元。 这些大模型不仅能够处理和分析海量的科学数据,还能够预测材料的性质和行为,从而加速新材料的发现和开发,推动着这一领域向更高效、更精准的方向发展。

在过去的一段时间,AI for Science 正在与材料科学不断碰撞出新的火花。

立足国内, 北京凝聚态物理国家研究中心 SF10 组、中科院物理研究所、中科院计算机网络信息中心共同合作,将数万个化学合成路径数据投喂给大模型 LLAMA2-7b,从而获得了 MatChat 模型,可用来预测无机材料的合成路径;电子科技大学联合复旦大学、中国科学院宁波材料技术与工程研究所,成功开发出「耐疲劳铁电材料」,在全球范围内率先攻克困扰领域内 70 多年的铁电材料疲劳问题;上海交通大学 AIMS-Lab 实验室开发出了新一代材料智能设计模型 Alpha Mat.……研究成果频出,材料创新和发现进入新时代。

放眼全球, Google 旗下的 DeepMind 开发了用于材料科学的人工智能强化学习模型 GNoME,寻找到了 38 万余个热力学稳定的晶体材料,相当于「为人类增加了 800 年的智力积累」,极大加快了发现新材料的研究速度;微软发布的材料科学领域人工智能生成模型 MatterGen,可根据所需要的材料性质按需预测新材料结构;Meta AI 与美国高校合作,开发了行业顶级的催化材料数据集 Open Catalyst Project,以及有机金属框架吸附数据集 OpenDAC……科技巨头凭借自家的技术,将材料科学领域搅动的风起云涌。

虽然与传统材料研发方式相比,人工智能为探索更广泛的材料可能性打开了大门,显著减少了与材料发现相关的时间与费用。但是,AI for Science 在材料领域还面临着可信度和有效实施的挑战,确保数据质量、识别和减轻用于训练 AI 系统的数据潜在偏差等一系列问题有待解决。这或许也意味着,要想让人工智能在材料科学领域发挥更大的作用,仍然前路漫漫。

文哥说:SACADA上cif文件可以这样批量爬取 这是一个python写的小爬虫,可以爬取sacada网站上的cif文件, 放在这希望可以换点积分,我想下个东西,感谢 立即下载

相关推荐

Windows系统下搭建MPI(并行计算)环境

分享一下我老师大神的人工智能教程!零基础,通俗易懂!http://blog.youkuaiyun.com/jiangjunshow也欢迎大家转载本篇文章。分享知识,造福人民,实现我们中华民族伟大复兴!                 W

weixin_43417960的博客 5752

材料探索新纪元!清华大学徐勇、段文晖团队发布神经网络密度泛函框架,打开物质电子结构预测的黑箱!

作为一个新兴的跨学科领域,将深度学习与密度泛函理论结合,通过大量的计算模拟来预测和发现新材料,正逐渐克服传统 DFT 计算耗时且复杂的缺点,在计算材料数据库的构建方面具有巨大的应用潜力。以 H2O 分子为例,如下图 a 所示,该研究首先通过基于 DeepH-E3 方法的数据驱动监督学习获得了预训练的神经网络模型,然后使用神经网络 DFT 对 300 个训练结构进行微调,实现了对哈密顿量及其他物理量的高精度预测。它不仅大幅提高了计算速度,达到了几个数量级的提升,而且在预测精度上也达到了亚毫电子伏的高标准。

HyperAI超神经 2085

Cadence Virtuoso Layout 版图绘制

画好原理图,打好pin脚(pin最好以全大写的形式书写,以防后续操作中可能出现Bug) 查看所使用工艺库的design rule文件,确定栅格单位设置大小 在准备绘制的原理图界面启动layout XL/GXL 在layout界面按e,设置网格大小与design rule匹配 直接根据原理图生成版图 根据原理图连接关系显示版图中未连接的飞线 查看和更改原理图与版图中器件对应的链接关系 shift + f:显示器件版图细节 版图的构成:元器件(工艺厂商提供)、器件连接、阱连接、IO和PAD模拟电路

bobo_supper的博客 2万+

DeepH-pack 使用与安装指南

DeepH-pack 使用与安装指南 1. 目录结构及介绍 DeepH-pack 是一个专为基于局部坐标和基变换预测密度泛函理论(DFT)哈密顿矩阵设计的深度神经网络应用包。以下是项目的主要目录结构概述: ./ 根目录,包含了项目的主文件和重要说明。 README.md 项目简介、安装步骤和快速入门指导。 LICENSE 许可证文件,定义了软件使用的法律条款。 docs/ 文档目录,详细介绍...

gitblog_00121的博客 1054

【招聘测评题】中的(行测)图形推理题基本逻辑总结(附例题)

参加招聘的时候,一般提交完简历就需要做测评试卷,测评里面除了性格分析的题,一般会有几十道类似公务员行测的素质测评题,让人很是挠头,据说题库多取自北森。刷题用处不大,这里总结一下图形推理题中常考的几个基本逻辑。

Yujian2563的博客 7万+

【SLAM】SVO2.0编译运行和论文代码解读

SVO2是我遇到的最难编译的代码了,可能公开版本不能放太鲁棒的代码吧,搞了快一个星期,终于跑起来了。

iwanderu的博客 5975

探索高效电子结构计算的新星:DeepH-pack

探索高效电子结构计算的新星:DeepH-pack 在当今的科学研究领域,高效且准确的电子结构计算工具对于材料科学、物理学乃至化学的发展至关重要。今天,我们向您隆重推荐一款革命性的开源项目——DeepH-pack,它基于深度学习技术,为密度泛函理论(DFT)的哈密顿量计算带来了前所未有的效率提升。 项目介绍 DeepH-pack 是 DeepH(深度哈密顿量)方法的官方实现,该方法通过深度学习技术优...

gitblog_00524的博客 575

LCD工程师必看:MIPI DSI的LP/HS模式切换全流程拆解(附高通平台实测)

本文为LCD工程师深度解析MIPI DSI接口中低速(LP)与高速(HS)模式切换的全流程。文章结合高通平台实测波形,从协议状态机、时序关键参数到实战调试案例,系统拆解了模式切换的本质、协同机制及常见问题排查方法,重点阐述了LP模式在低功耗控制与HS模式在高速数据传输中的核心作用与切换时序。

weixin_29240711的博客 547

神经网络替代密度泛函理论!清华研究组发布通用材料模型 DeepH,实现超精准预测...

本文约4000字,建议阅读8分钟 平均绝对误差仅 2.2 meV。清华大学研究人员利用原创的深度学习密度泛函理论哈密顿量 (DeepH) 方法,发展出 DeepH 通用材料模型,并展示了一种构建「材料大模型」的可行方案,这一突破性进展为创新材料发现提供了新机遇。在材料设计中,了解其电子结构与性质是预测材料性能、发现新材料、优化材料性能的关键。过去,业界广泛使用密度泛函理论 (DFT) 来研究材料电...

数据派THU 778

Vivado实战:如何用BUFGMUX_CTRL实现FPGA双时钟热切换(附时序约束模板)

本文详细介绍了如何使用Xilinx FPGA中的BUFGMUX_CTRL原语实现双时钟热切换的工业级解决方案。通过分析BUFGMUX_CTRL的核心机制、PCB布局约束和电源噪声抑制方法,提供Vivado实现全流程和时序约束模板,帮助工程师在工业自动化、车载电子等场景中提升系统可靠性。

weixin_29186249的博客 585

图解B+树的插入过程

B+ 树在现代数据库中很常见,如果我们了解它,在工作中可能对性能优化会有更好的帮助! 最近我一直在思考 B+ 树的高度是由什么决定的。知道我了解了 B+ 树的插入过程,才有一种恍然大悟的感觉! 网上的一些资料杂乱无章,不同的数据库可能还有对 B+ 树有不同的实现。但是万变不离其宗,B+ 树的定义,大致如下所示: 总结一下,B+ 树有下面 5 个重要的特点。 B+ 树包含 2 种类型的结点: 内部结点(也称索引结点)和叶子结点。 根结点本身即可以是内部结点,也可以是叶子结点。 根结点的关键字个数最

愿君出走半生,归来时仍是少年 2135

NPU(神经网络处理单元)详细解析

NPU(Neural Processing Unit,神经网络处理单元)是一种专门为加速神经网络计算(尤其是深度学习推理)而设计的专用处理器(ASIC/DSP 类)。它也常被称作神经引擎(Neural Engine)、AI 加速器、APU(AI Processing Unit)等。处理器擅长不擅长CPU通用逻辑控制、串行任务、操作系统调度大规模并行矩阵运算,能效比低GPU图形渲染、大规模并行浮点计算功耗高(几十到几百瓦),不适合电池设备NPU神经网络核心算子(矩阵乘、卷积、激活)

zhaoshuzhaoshu的专栏 260

手把手教你模拟登录豆瓣并爬取个人书影音数据:从Cookie解析到反爬攻防实战

在开始写代码之前,先明确我们需要的工具。:建议用3.10以上版本,方便使用一些新特性(如match语句)httpx:比requests更现代,支持HTTP/2,异步性能强,连接池复用好:解析HTML,语法简单,容错性强selenium:仅用于处理登录时的滑块验证(模拟真人)pandas:最终数据清洗和导出Excel/CSVretrying:自动重试机制,应对临时封禁:随机UA,降低特征lxml:作为BeautifulSoup的解析器,速度快为什么不只用requests?

2201_76125261的博客 579

神经网络与深度学习笔记_Day6

神经网络与深度学习笔记_Day6,包含 ANN案例、CNN概述、卷积层 与 池化层。 写于2026/02/12。

ZZHow Blog 350

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

物理信息神经网络与扩展物理信息神经网络(PINN/XPINN)求解功能梯度材料稳态—瞬态热传导,MATLAB代码

物理信息神经网络与扩展物理信息神经网络(PINN/XPINN)求解功能梯度材料稳态—瞬态热传导,MATLAB代码

机器学习之心的博客,关注并私信文章链接,获取对应文章源码和数据。 268

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

2027年神经网络、智能信息与数据科学国际会议(NNIDS 2027)

2027年神经网络、智能信息与数据科学国际会议(NNIDS 2027)将在中国·合肥举行,会议围绕神经网络、智能信息处理与数据科学等研究方向展开学术交流,关注人工智能算法、数据分析技术以及智能信息系统的发展。

Yangxshy的博客 214

贝叶斯统计 [韦来生编]

贝叶斯(Bayes)统计是近几十年来迅速发展起来的数理统计的一个重要分支。贝叶斯方法与经典统计方法的主要不同之处是进行统计推断时除了利用样本信息外,还要利用参数的先验信息,因此可以提高统计推断或统计决策的效果。它在经济、金融、生物、医学、自然科学和社会科学等许多领域具有广泛的应用。贝叶斯方法的研究已渗透到了统计学的几乎所有领域。作者在给中国科学技术大学概率论与数理统计专业本科生开设的“数理统计”课程中有一章专门讲授“贝叶斯方法和统计决策理论”,近十年来也给中国科学技术大学概率统计专业研究生开设过几次“贝叶斯分析”课。本书是在对过去讲稿的内容作了适当的增减和调整的基础上完成的。  本书共分六章。第1章是绪论,介绍了贝叶斯统计的若干基本概念,同时对必要的数理统计的基础知识有重点地作了回顾。第二章介绍了确定先验分布的若干可供选择的方法。第三章介绍了几类常见统计模型参数的后验分布的主要结果和计算方法。第四章和第五章分别介绍了“贝叶斯统计推断”和“贝叶斯统计决策”的内容。第六章介绍了贝叶斯统计计算的若干方法,包括蒙特卡洛方法和马尔可夫链蒙特卡洛(MCMC)方法以及相关统计软件的简介。本书的每一章附右大量的例题和习题,书末附有常用的几个表格和部分习题解答供读者查用。  大约可在54学时内讲授本书的第1章至第六章的主要内容,教师可根据学时需要选讲本书第1章至第六章的部分内容。书中标“*”号的章节可略去不讲,留给读者作为阅读材料。第六章例题中的R代码和部分例题的数据文件等可从作者个人主页下载。  作者在编写本书的过程中参考了J.O.Berger教授的《统计决策论及贝叶斯分析》和茆诗松教授编写的《贝叶斯统计》等书中的一些内容,以及《贝叶斯分析》一书中由张伟平博士编写的有关贝叶斯统计计算的一些内容。在此表示衷心感谢。  本书编写准备过程中,中国科学技术大学统计与金融系的几个研究生帮助完成了本书部分中文的录入和排版,作者对他们的辛勤工作表示真诚的感谢。高等教育出版社为本书的出版给予了大力支持。在此一并致谢。

第 06/24 期:神经网络的反向传播算法:从链式法则到梯度计算

本文系统阐述了神经网络中反向传播的数学原理:前向计算为函数复合,而参数梯度需通过链式法则逆向传递。核心是定义误差项 $\delta^{(l)} = \nabla_{z^{(l)}}\mathcal{L}$,从输出层开始递推,利用权重转置与激活导数实现高效梯度传播。权重梯度由误差项与输入的外积构成,偏置梯度即误差项本身。通过两层网络实例验证了公式正确性,强调维度一致性的重要性,并揭示了激活函数导数在梯度传播中的关键作用,为理解深层网络训练机制提供理论基础。

weixin_47502228的博客 645

第 02/24 期:从线性模型到多层感知机:神经网络的表示能力

本文探讨了线性模型的表达局限,指出其函数族仅能表示超平面边界,无法解决非线性可分问题(如XOR)。通过多层感知机引入非线性激活函数(如ReLU、tanh),网络可构建分段线性或光滑非线性函数,显著提升表示能力。实验表明,单隐藏层MLP在拟合复杂目标函数时优于仿射模型。但需区分表示能力、优化可达性与泛化性能三者:即使模型理论上可逼近任意函数,实际训练仍受初始化、优化路径和样本限制。

weixin_47502228的博客 364

神经网络与深度学习笔记_Day5

神经网络与深度学习笔记_Day5,包含 梯度下降优化方法、学习率衰减策略、正则化 与 ANN案例。 写于2026/02/07。

ZZHow Blog 333

神经网络是如何学习的?(关于损失函数,梯度下降,反向传播,梯度消失详解)

神经网络的学习本质是一场“瞎子下山”的试错游戏:通过前向传播预测,损失函数评分,反向传播计算梯度,梯度下降更新参数,循环数万次。单个神经元如直线分割,难以解决复杂问题(如XOR),但多层感知机(MLP)叠加非线性激活后,可拟合任意复杂边界。损失函数定义“错误”程度,梯度下降则沿最陡方向迭代优化,学习率决定步幅。反向传播利用链式法则高效分配误差责任,但深层网络中梯度逐层衰减,导致“梯度消失”,使浅层参数难以更新。核心在于:模型靠不断试错,在参数空间中寻找最低损失点,最终学会“看懂世界”。

JYF2007ABC的博客 831

从“人工智障”到“智能”,没有激活函数的神经网络只是在叠直线

没有激活函数的神经网络仅能表示线性关系,即使堆叠多层也无法拟合复杂非线性模式,导致模型表现如“人工智障”。激活函数(如ReLU)引入非线性,使网络能分段拟合复杂边界,实现从“画直线”到“拼曲线”的跃迁。正确使用激活函数、避免输出层重复激活、合理选择损失函数,是解决模型失效的关键。

JYF2007ABC的博客 420

神经网络与深度学习笔记_Day2

神经网络与深度学习笔记_Day2,包含 张量 与 自动微分。 写于2026/01/21。

ZZHow Blog 125

DeepXDE 物理信息神经网络(PINN):自动微分嵌入 PDE 求解的计算特征与 UltraLAB 图形工作站选型

单卡显存决定单任务上限,CPU 高主频多核决定试验吞吐。入门者一张 12—16 GB 显卡即可开展研究;做三维反问题与算子学习的团队建议 24 GB 级单卡起步、64 GB 以上内存;需要批量反演与不确定度量化的实验室按"多卡多任务"扩展,并把预算优先给显存与内存,而非盲目堆卡数。DeepXDE 多后端特性使同一环境可服务 TensorFlow/PyTorch/JAX 三类技术栈,部署时注意 CUDA 版本与后端版本的匹配。

202

1,944 Star 的浏览器人声合成器 CHIMERA:不用采样、不用神经网络,靠物理建模“唱”出歌来

开源项目 CHIMERA(1,944 Star/7 天)在浏览器里物理建模了一副完整气道(肺、声带、声道、唇、鼻):Rust 编译 WASM 跑 AudioWorklet,零采样零神经网络,可拖舌头演奏、按 IPA 说话、钢琴卷帘唱歌、姿态化打 beatbox,还自带鸣禽与大象发声模型。本文拆解其确定性引擎设计、对真人歌手的校准方法与上手命令。

话梅糖の优快云 Blog 309

从零搭建一个神经网络:从底层原理到 PyTorch 完整实现

神经网络(Neural Network)是一种受到生物神经系统启发的机器学习模型。它通过多个相互连接的人工神经元,对输入数据进行特征提取和非线性变换,最终完成分类、回归、预测等任务。神经网络就是通过大量数据不断调整内部参数,让模型逐渐学会输入与输出之间的映射关系。例如,我们希望训练一个模型,根据房屋面积、房间数量、地理位置等特征预测房屋价格。传统机器学习可能需要人工设计特征,而神经网络能够通过多层计算自动学习数据中的复杂规律。梯度表示函数对各个参数的变化率。

2503_90237586的博客 262

AI 问数真的能替代 BI 报表吗?

AI问数赋能自然语言查询,提升临时分析效率,但无法替代传统报表。报表适用于稳定输出与持续监控,AI则擅长探索性提问。企业用好AI问数,关键在于夯实数据模型、统一指标口径、健全权限体系与结果校验机制。合理组合报表、仪表板与AI,才能实现高效、准确的业务洞察。

葡萄城技术团队博客 332
上一篇: OpenAI官宣新公司,谷歌前高管任CEO,打造AI健身教练;上海交大开源3D医学大模型,构建超大规模3D医学图像分割数据集...
下一篇: 不是取代,而是共生!气象科学的未来需要AI与数值预报的有机结合
HyperAI超神经
博客等级 码龄7年 8873粉丝 1753原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值