NOKIAO的博客

广义网络结构： 前馈神经网络 卷积神经网络 循环神经网络LSTM GRU 双向循环神经网络bi-LSTM bi-GRU(了解)网络中的特殊单元： BN（为什么可以加快学习） 用1x1的感受域来减少变量数（为什么可以加快学习） 用两2层3x3的感受域的卷积，代替5x5感受域的卷积（为什么可以优化网络） 用1x3感受域的卷积加上3x1感受域的卷积来代替3x3感受域的卷积（为什么可以...

https://github.com/imhuay/Algorithm_Interview_Notes-Chinese

https://www.tinymind.cn/articles/papers

在训练中，我们希望在中间箭头的位置停止训练。而Early stopping就可以实现该功能，这时获得的模型泛化能力较强，还可以得到一个中等大小的w的弗罗贝尼乌斯范数。其与L2正则化相似，选择参数w范数较小的神经网络。可以用L2正则化代替early stopping。因为只要训练的时间足够长，多试几个lambda。总可以得到比较好的结果。Early stopping: 优点：只运行一次梯度下...

一个简单的办法Leslie N. Smith 在2015年的一篇论文“Cyclical Learning Rates for Training Neural Networks”中的3.3节描述了一个非常棒的方法来找初始学习率，同时推荐大家去看看这篇论文，有一些非常启发性的学习率设置想法。这个方法在论文中是用来估计网络允许的最小学习率和最大学习率，我们也可以用来找我们的最优初始学习率，方法非常简...