更木的博客

随笔:寻优过程是随机选择一个样本进行梯度更新，很多情况下L1正则化也不会导致选择的最优值落在"角"上，因而稀疏性也不是这么明显。

RNN与CNN不同的点在于其将时间维度引入模型中，整体示意图如下所示。可以看出下图每一个cell都比较简单，只有一个tanh操作，ht−1h_{t-1}ht−1​和hth_tht​之间的转移关系如下所示：ht=tanh(Wh⋅[ht−1,xt]+bh)h_t =tanh(W_h\cdot [h_{t-1}, x_t] + b_h)ht​=tanh(Wh​⋅[ht−1​,xt​]+bh​)从上述公式可以看出，RNN本时刻的隐藏层信息只来源于当前输入和上一时刻的隐藏层信息，没有记忆功能，因而无法处理长期依

resnet模型层数加深后效果会有退化，这不是过拟合的原因(训练和测试的误差都很高)，也不是梯度消失的问题(有BN)，因而这些极深的模型学偏了，忘记了初心，即学习"什么都不做"在网络加深的过程中会变得越来越困难。resnet通过恒等映射来解决上述问题，其中关键点在于映射的shortcut，示意图如下所示：可以看出，模型拟合的输入+残差，而不是简单的一个输出，这样的一个好处是反向传播过程中梯度不会很快的衰减下去，示例图如下所示：densenetdensenet比resnet还狠，它的shortcu

概述权重矩阵初始化的好坏能够直接决定深度学习模型收敛后的效果，因而这里专门开一个专题来讲述这部分内容，后文会讲述几个比较有代表性的权重矩阵初始化的方法。全0初始化如果每一层的权重都是0，则只有最后一层的参数可以得到更新，其他层的参数一直为0，具体推导过程如下：{a3=f(w13a1+w23a2)a4=f(w14a1+w24a2)a5=w35a3+w45a4\left\{\begin{matrix}a_3 = f(w_{13}a_1+w_{23}a_2)\\ a_4 = f(w_{14}a_1+

题目简介https://www.kaggle.com/c/mercari-price-suggestion-challenge参考解题思路链接https://www.kaggle.com/agrigorev/tensorflow-starter-conv1d-embeddings-0-442-lb整体思路namedesccatbrandcondshipconcat代码https://github.com/gmlyytt-YANG/merc

梯度下降中的momentum

这篇博客的适用人群是对于卷积神经网络的基本结构和每个模块都基本了解的同学。博客主要内容：1. 自定义神经网络搭建过程2. 反向传播过程中矩阵求导3. 反向传播过程中激活函数求导4. BONUS 反向传播过程中的正则化

卷积神经网络入门介绍