caorui_nk的博客

根据上一篇的方式可以自定义一个名为“pyFun”的激活函数，且能正常的训练。 但是在我load_model（即加载已经训练好的模型时），发现tensorflow找不到这个函数。解决办法想来应该很简单就是重新把这个函数写进去就可以了，但是实际运用过程中似乎这样的方式不能起效。目前还没有解决这一问题，留待之后解决。...

前言：因为研究工作的需要，要更改激活函数以适应自己的网络模型，但是单纯的函数替换会训练导致不能收敛。这里还有些不清楚为什么，希望有人可以给出解释。查了一些博客，发现了解决之道。下面将解决过程贴出来供大家指正。 1.背景 之前听某位老师提到说tensorflow可以在不给梯度函数的基础上做梯度下降，所以尝试了替换。我的例子时将ReLU改为平方。即原来的激活函数是 现在换成. 单纯替换激活函数并...