hola_f的博客

参考资料：https://www.jianshu.com/p/004c99623104

挖个坑 Grid LSTM下面这篇参考很好http://blog.sina.com.cn/s/blog_5309cefc0102wbcv.html

关于激活函数为啥一定要是零中心对称的，在这篇文章https://blog.youkuaiyun.com/zhaojc1995/article/details/80572098看到了一个说法：关于原点对称的输入和中心对称的输出，网络会收敛地更好。暂且接受

最近在家里听斯坦福CS231n的课程，很系统的学习了一些深度学习的知识，很受启发。其中，我对深度学习中的梯度流的概念印象深刻。讲到RNN时，提到LSTM能够解决普通RNN的梯度消失和梯度爆炸的问题。LSTM包含两个隐状态，分别为单元状态和隐藏状态。其中，单元状态是梯度传播的主要路径。上一时刻和下一时刻单元状态的传播通过一个加法和一个逐元素的矩阵乘法操作。这两个操作降低了计算复杂度，同时也能避免梯度...

《From Neural PCA to Deep Unsupervised Learning》和《Semi-Supervised Learning with Ladder Network》中的部分观点：1. 为了实现无监督学习和有监督学习的结合，无监督学习不能保存所有信息而是能够放弃与任务无关的信息。但是这与无监督学习的初衷有出入，无监督学习为了重建输入，需要保存所有的信息。比如图像处理中的物...