地球系统科学读书会笔记：求解非线性PDE精确解的“双线性”神经网络方法

原创 已于 2022-03-04 16:26:32 修改 · 1.1k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #机器学习 #线性代数

于 2022-03-04 16:03:03 首次发布
这篇博客深入探讨了双线性神经网络的方法，包括如何将f函数带入双线性变换后的方程中，并介绍了双线性残差网络的概念。博主通过示例解释了相关数学公式，强调了这些技术在深度学习中的应用。

地球系统科学读书会

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
双 线 性 神 经 网 络 方 法 ： 双线性神经网络方法： 双线性神经网络方法：在这里插入图片描述
在这里插入图片描述
示 例 ： 图 中 下 边 公 式 为 图 中 上 边 网 络 的 描 述 示例：图中下边公式为图中上边网络的描述 示例：图中下边公式为图中上边网络的描述
在这里插入图片描述
将 以 上 的 f 函 数 带 入 双 线 性 变 换 后 的 方 程 中 去 将以上的f函数带入双线性变换后的方程中去\\ 将以上的f函数带入双线性变换后的方程中去
在这里插入图片描述
在这里插入图片描述

得到结果，其中D表示求导算子(及对激活函数F的求导)：
在这里插入图片描述
在这里插入图片描述

双 线 性 残 差 网 络 双线性残差网络 双线性残差网络
在这里插入图片描述
在这里插入图片描述

双线性卷积神经网络模型（Bilinear CNN)
weixin_44529634的博客
06-04 1万+
ICCV 2015 参考资料 摘要 双线性CNN模型：包含两个特征提取器，其输出经过外积相乘，池化后获得image descriptor feature fusion的方式有很多，所以在两个数据集上进行了三种方式的feature fusion结果比较。 很多广泛使用的texture representation可以被表示为两个设计合理的特征的outer product。 2018Data Fold-1 Fold-2 Fold-3 Fold-4 Fold-5 avg 外积 0.90309
双线性注意力网络模型《Bilinear Attention Networks》
热门推荐
xiashilin的博客
11-10 1万+
目录 一、文献摘要介绍 二、网络框架介绍 三、实验分析 四、结论 本文有点长，请耐心阅读，定会有收货。如有不足，欢迎交流，另附:论文下载地址 一、文献摘要介绍 Attention networks in multimodal learning provide an effificient way to utilize given visual information select...
71、非线性与PDE动态系统控制的进展与应用
最新发布
tcp8optimizer的博客
09-22 35
本文综述了非线性和偏微分方程（PDE）动态系统控制的最新进展及其在工业与非工业领域的广泛应用。涵盖了机器人、自动驾驶、电力系统、生物医疗、金融经济等多个应用场景，介绍了常用控制方法及其优势，并通过流程图展示了控制应用流程与未来发展路径。文章还解释了相关术语，对比了不同系统的控制策略，展望了跨领域融合、智能化发展和新应用场景的潜力。
非线性椭圆PDE的定性分析Qualitative Analysis of Nonlinear Elliptic PDEs
10-28
该书全面介绍了由椭圆偏微分方程描述的非线性问题的数学理论。 此类方程式的现代理论大部分是基于变化和功能分析的演算。
双线性 插值
syy_1263041983的专栏
10-31 923
双线性插值，这个名字咋一听很高大上的样纸，再在维基百科上一查（见文末，我去，一堆的公式吓死人），像俺这种半文盲，看到公式脑子就懵的类型，真心给跪。虽然看着好复杂，但仔细一看道理再简单不过了，所以还是自己梳理一下好。 双线性插值，顾名思义就是两个方向的线性插值加起来（这解释过于简单粗暴，哈哈）。所以只要了解什么是线性插值，分别在x轴和y轴都做一遍，就是双线性插值了。 线性插值的概念也非常
双线性卷积神经网络_【ICLR 2019论文】互信息最大化的无监督图神经网络Deep Graph Infomax...
weixin_39839726的博客
12-10 360
原创： 张晨晖 学术头条 把神经网络模型扩展到图结构数据是当前机器学习领域的研究热点，其中的代表有图卷积网络以及它的变种形式。图卷积网络的训练通常采用监督学习的方法，借助图或节点的标签定义优化目标。然而很多情况下，尤其是面对大规模网络，我们难以获得大量标记的训练数据。本文中，作者提出了Deep Graph Infomax （DGI），使图卷积网络能够无监督地学习图中的结构信息。论文地址：https...
非线性与PDE系统控制
09-22
非线性动力系统与偏微分方程（PDE）系统的控制与估计是现代控制理论中的高级话题。本书为读者提供了系统性的探讨，涵盖了非线性系统控制和估计的理论基础及其在实际应用中的表现和效果。主要理论内容包括基于近似...
论文研究 - 利用ET和ETEM求解一类变系数非线性PDE的精确解。
05-16
在本文中，通过使用改进... 然后，通过扩展试验方程法（ETEM），根据椭圆函数，有理函数，双曲函数和三角函数等不同函数构造了丰富的旅行解。 扩展试验方程法功能强大，可用于其他偏微分方程，该方法可以做更多的研究。
精选资源
PETScSolver：PETSc作为非线性PDE的求解器
02-26
PETSc作为非线性PDE的求解器 “ PETSc是一套数据结构和例程，用于通过偏微分方程建模的科学应用程序的可扩展（并行）解决方案” [请参见： ： ] 编译中 假设您已使用指定的gcc和g ++编译器正确安装了PETSc。 转到...
精选资源
拉普拉斯方程matlab代码-Non-linear-termal-conduction:该项目是关于使用不精确的牛顿法求解非线性方程组稀疏系统
05-26
该项目是关于使用不精确的牛顿法求解非线性方程组[\ label {nonlin} \ mathbf {F}（\ boldsymbol {U}）\ = \\ boldsymbol {0}]的稀疏系统的实践方面。 特别是，我们将使用平行的Newton–CG，并研究部分绝缘的正方形...
双线性卷积神经网络_论文阅读-可变形卷积网络：Deformable Convolutional Networks
weixin_39613839的博客
12-20 323
论文地址 ：Deformable Convolutional Networks工程地址：github 链接 0. 摘要 卷积神经网络对位置变化的建模存在天然缺陷，这是由于网络固定的位置结构。该论文提出两个新的模块来增强CNNs的这种建模能力，称为deformable convolution and deformable RoI pooling，两个模块的基本思想采样时增加额外的参数o...
Python-用于视觉问题回答的双线性注意网络
08-11
Bilinear attention networks for visual question answering
pydens:PyDEns是使用神经网络求解常微分方程（ODE和PDE）的框架
05-25
聚吡咯 PyDEns是使用神经网络求解常微分方程和偏微分方程（ODE和PDE）的框架。 使用PyDEns可以解决 来自一个大族的PDE和ODE，包括，和 PDE的参数族 具有可训练系数的PDE。 该页面概述了PyDEns的主要功能。 为了获得深入的了解，我们建议您也阅读。 PyDEns入门：解决常见的PDE 让我们解决泊松方程 使用带有tahn激活的简单前馈神经网络。 第一步是将标记语法-用于写微分方程的表达式-添加到当前名称空间： from pydens import Solver , NumpySampler , add_tokens import numpy as np add_tokens () # we've now got functions like sin, cos, D in our namespace. More on that later! 您现在可以使用
Testing-PINNs:使用物理信息神经网络求解PDE
03-15
测试PIN 使用物理信息神经网络求解PDE 我们将首先关注
面向细粒度图像分类的双线性残差注意力网络
01-26
细粒度图像之间具有高度相似的外观,其差异往往体现在局部区域,提取具有判别性的局部特征成为影响细粒度分类性能的关键。引入注意力机制的方法是解决上述问题的常见策略,为此,在双线性卷积神经网络模型的基础上,提出一种改进的双线性残差注意力网络:将原模型的特征函数替换为特征提取能力更强的深度残差网络,并在残差单元之间分别添加通道注意力和空间注意力模块,以获取不同维度、更为丰富的注意力特征。在3个细粒度图像数据集CUB-200-2011、Stanford Dogs和Stanford Cars上进行消融和对比实验,改进后模型的分类准确率分别达到87.2%、89.2%和92.5%。实验结果表明,相较原模型及其他多个主流细粒度分类算法,本文方法能取得更好的分类结果。
bilinear 神经网络_双线性汇合（bilinear pooling）在细粒度图像分析及其他领域的进展综述...
weixin_39612297的博客
12-22 1354
细粒度图像分类旨在同一大类图像的确切子类。由于不同子类之间的视觉差异很小，而且容易受姿势、视角、图像中目标位置等影响，这是一个很有挑战性的任务。因此，类间差异通常比类内差异更小。双线性汇合(bilinear pooling)计算不同空间位置的外积，并对不同空间位置计算平均汇合以得到双线性特征。外积捕获了特征通道之间成对的相关关系，并且这是平移不变的。双线性汇合提供了比线性模型更强的特征表示，并可以...
Matlab中的PDEPE求解"瞬态型"或"发展型"非线性偏微分方程组
stereohomology
02-11 8021
背景求解真实问题中建模得到的非线性偏微分方程组, 尽可能少手写代码,如果用matlab, 可能的选项很有限。pdetoolbox有限元方法能够求解一些,但是要求对微分方程的类型以及pdetoolbox特有的书写方式非常熟悉,并能够把问题转为相应繁琐的格式;早在Matlab 6.x版本的时候(已经10多年的历史了)出现了一个pdepe求解函数, 虽然同样繁琐,要写代码, 但对偏微分方程的知识的要求相对
双线性注意力网络
qq_38343151的博客
01-06 3930
一、摘要 作者认为，多模式学习中的注意力网络提供了一种有效的方法，有选择的利用给定的视觉信息。但是，学习每对多模式输入通道的注意力分布计算的成本过高，为解决这个问题，共同注意为每个模式建立了两个单独的注意力分布，而忽略了多模式输入之间的交互。而在本文中作者提出了一种双线性注意力网络（BAN），它可以找到双线性注意力分布，来无缝地利用给定的视觉-语言信息。BAN考虑两组输入通道之间的双线性相互作用...
[科学计算]非线性方程的数值求解
OnePlus+博客
06-12 1185
[科学计算]非线性方程的数值求解 实际问题中，线性方程甚至线性方程组都不是最常见的形式，世界的规律是错综复杂的，涉及更多的是非线性方程，而求解非线性方程的问题就显得颇为重要。那么这一节中，我们的出发点就是如何求解非线性方程f(x)=0f(x)=0f(x)=0 的根. 1. 对分区间法 相必大家记得这么一个定理：若f(x)∈C[a,b]，且f(a)⋅f(b)<0，则f(x)在(a,b)上必有一根。若f(x)\in C[a,b]，且f(a) ·f(b) < 0，则f(x)在(a,b)上必有一根。若f
同伦分析方法求解非线性pde
09-13
同伦分析方法是求解非线性偏微分方程（PDE）的有效手段，在求解时，会引入一个嵌入参数将原非线性问题转化为一系列线性子问题。随着嵌入参数从0变到1，这些线性子问题的解会从一个已知的初始解逐渐过渡到原非线性问题的解。 同伦分析方法在求解非线性PDE方面具有一定优势。它收敛性控制灵活，通过调整收敛控制参数，可有效控制级数解的收敛速度和收敛区域，在处理复杂非线性问题时能更灵活地获得收敛解。该方法适用范围广，可处理各种类型的非线性方程，包括代数方程、常微分方程以及偏微分方程等，无论是强非线性还是弱非线性问题都能尝试求解。同时，还能提供解析近似解，有助于人们更好地理解问题的本质和内在规律，进行定性和定量分析[^1][^3]。 不过，同伦分析方法也存在局限性。计算复杂度较高，求解过程需要多次迭代和计算，对于高阶近似解的求解，计算量会显著增加，在处理大规模非线性问题时，计算时间和内存需求可能成为限制因素。构造合适的同伦映射是该方法的关键，但没有通用的构造方法，需要根据具体问题进行尝试和选择，不恰当的同伦映射可能导致收敛速度缓慢甚至不收敛，增加了求解的难度和不确定性。此外，虽然该方法在一定程度上可缓解初始猜测值对求解结果的影响，但好的初始猜测值仍有助于提高收敛速度和求解精度，若初始猜测值选择不当，可能导致求解过程不稳定或收敛到错误的解。 以下是一个简单的概念代码示例，展示同伦分析方法求解非线性PDE的大致思路： ```python import numpy as np # 定义非线性PDE def nonlinear_pde(u, x, t): # 这里只是示例，实际的PDE需要根据具体问题定义 return np.gradient(u, x) + u**2 - np.sin(t) # 同伦分析方法求解（简化示意） def homotopy_analysis_solve(x, t, max_iter=100, tolerance=1e-6): # 初始化解 u = np.zeros((len(x), len(t))) # 嵌入参数 p = np.linspace(0, 1, max_iter) for i in range(max_iter): # 这里需要根据同伦分析方法的具体步骤更新u # 为简化，此处未给出具体更新公式 u_new = u + 0.1 * p[i] # 示意性更新 error = np.linalg.norm(u_new - u) if error < tolerance: break u = u_new return u # 空间和时间网格 x = np.linspace(0, 1, 100) t = np.linspace(0, 1, 100) # 求解 solution = homotopy_analysis_solve(x, t) ```
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值