刚开始学习神经网络,之前在帖子中学习了arxiv.org中一篇论文通过神经网络求解常微分方程的思路,原帖介绍了论文思路并给出了常微分方程求解举例,在这里我写一下自己的一些理解,并尝试复现原论文中的耦合常微分方程组求解、产生的问题以及解决方法。
原帖和原论文链接如下:
Tensorflow一个很简单的神经网络求解常微分及偏微分方程_Trytobenice的博客-优快云博客https://blog.youkuaiyun.com/qq_39817721/article/details/88875099NNforDEsPT (arxiv.org)
https://arxiv.org/pdf/1902.05563.pdf首先,关于原论文中第3页的一阶常微分方程,原帖已经讲的很详细了,通过设计包含10个神经元的单隐层神经网络,将损失函数设定为常微分方程的平方,在
范围内,利用Adam优化器实现了拟合误差不超过0.01。此外,根据评论,有同学指出,如果将原帖代码中tf.zeros()全部换成tf.random_normal(),可以进一步提升loss下降速度和最终精度,并可以加入偏置项。整个神经网络的构成大概是下图所示:
基于以上思路,考虑下面的耦合常微分方程组:
论文的求解思路是,仍通过前面所设计的单隐层神经网络求解,隐层仍然是10个神经元,由于待解决的是2个常微分方程,这里输出层自然变为2个神经元,整个神经网络的构成就变成了下图所示:
但根据论文所述,给出的边界条件在区域的同一端,即x=0处,这有可能导致神经网络求解存在数值不稳定,其与损失超平面(loss hypersurface)相关,导致神经网络可能收敛到局部极小。为了解决此问题,论文中提出的方法是将训练样本点进