近日,B站学习慕课网的课程《Tensorflow2.0入门到进阶》,遇到一个问题,训练无法收敛,loss要不是变成nan,要不就越来越大。
比较了一下版本,课程中用的是tensorflow2.0.0alpha,我用的是2.1.0,然后,我换成了2.0.0,结果,还是不行,最后,只能换成2.0.0alpha,结果,真的可以。
于是,比较了一下,SGD代码的默认实现,居然是这样的:


原来,TensorFlow2.0.0alpha中SGD的learning rate是0.001,到了2.0.0以及以后的2.1.0版本,改成了0.01,变得没那么容易的收敛了。
如果,要跑课程中的例子,又想用最新的版本的话,可以直接配置一下SGD,如下:

在使用B站慕课网的《Tensorflow2.0入门到进阶》课程进行学习时,遇到了训练无法收敛的问题,经过排查发现,从TensorFlow2.0.0alpha升级后的版本中,SGD的学习率调整导致了这一问题。本文详细记录了解决过程及如何在新版本中配置SGD。
1455

被折叠的 条评论
为什么被折叠?



