alva_bobo的博客

转载地址：https://zhuanlan.zhihu.com/p/21362413 什么意思呢？就是用梯度下降的方法学会了梯度下降的学习方法。 用一个神经网络来调控另一个神经网络！ 怎么做？如上图，一个是神经网络优化器，一个是被优化的神经网络，也就是我们平时都用的神经网络。这里我们把数据输入到被优化的神经网络中，然后输出误差，把误差信号传给神经网络优化器，这个优化器就自己计算输出参

以下是他们论文中的一部分发现： 1.神经网络的有效容量是足够大的，甚至足够使用暴力记忆的方式记录整个数据集。 2.即便使用随机标签，进行优化仍然是很容易的。实际上，与使用真实标签进行训练相比，随机标签的训练时间仅仅增长了一个小的常数因子。 3.标签随机化仅仅是一种数据转换，学习问题的其他性质仍保持不变。 那个令人震惊的真相显现出来了。深度学习网络仅仅是大规模的关联记忆存储。深度学习网络即使

论文训练了一个长短期记忆网络（LSTM） 你可以训练一个神经网络，让它学会如何学习（即元学习）。具体来说，已经有一些研究团队训练出了能够执行随机梯度下降（SGD）的神经网络。不仅这些研究团队可以证明他们的神经网络能够学习SGD，而且这种网络的效果比任何人工调试的方法都要好。 与《Deep Reinforcement Learning for Accelerating the Converg