jiachen0212的博客

ImageNet 2017夺冠架构：SENet   paper传送门参考链接：传送门1               传送门2核心思想我认为是：不再使用传统的对输入通道经卷积后的结果通道们，进行简单的叠加，而是去寻找各通道间的相关性，给予各通道不同的权值，然后再进行加权求和。这个通道间的权值，通过学习得到。上图：  S:首先是压缩，squeeze（）把一个通道的map（尺寸为 mxn ）压缩成一个数...

传送门传送门输出层梯度求解过程如上图所示，为一个输出层神经元，在计算输出层梯度的时候，我们不用去考虑前一层是如何输入的。所以我们用y来表示，图中的y(n)表示第n个样本在前一层的输出值，这一层的输入值。我们将当前节点定义为j。那么当前节点j的输入值之和为  这里的m是节点j前一层的输入节点的个数，其中包括一个偏置项b。这里的公式都很像，看公式注意下标。然后节点j的输出要经过激活函数，如图所示我们定...

参考：知乎传送门           csdn传送门1. 逐渐摒弃对每个 pixel 进行类别分类的分割思想，而是把一个物类所包含的所有 pixels 看作一个整体。 尽量的实现类内一致和类间差别。(Face++的DFN：SN+BN)  paper 还加入了全局语境和高层特征引导底层特征学习的思想。 paper2. 主动的去解决或者减轻，样本数不均衡(指的是，每个类别内含有的 pixels 个数不...

gengxinzhong....

本文转载自「机器学习炼丹记」，搜索「julius-ai」即可关注。 原文链接：小象（一）一个框架看懂优化算法机器学习界有一群炼丹师，他们每天的日常是：拿来药材（数据），架起八卦炉（模型），点着六味真火（优化算法），就摇着蒲扇等着丹药出炉了。不过，当过厨子的都知道，同样的食材，同样的菜谱，但火候不一样了，这出来的口味可是千差万别。火小了夹生，火大了易糊，火不匀则半生半糊。机器学习也是一样，模型优化算...

参考博文：L1 L2详解正则化主要是刻画模型的复杂度，使得模型不任意的拟合数据中的随机噪声点。cvte一面面了这个，根据他的提示，更新对L1、L2正则的理解：1.  L1正则化可以产生稀疏权值矩阵，即产生一个稀疏模型(w比较多等于0..)，可用于特征选择.  C是损失函数(loss)首先解释为什么参数变稀疏了：因为L1正则是|w|，在训练使loss(即C)变小的过程中，|w|也是在变小的...什么...

转载自：l1、l2、dropout、...避免过拟合的方法：early stopping、数据集扩增（Data augmentation）、正则化（Regularization，dropout等。正则化方法：防止过拟合，提高泛化能力在训练数据不够多时，或者overtraining时，常常会导致overfitting（过拟合）。其直观的表现如下图所示，随着训练过程的进行，模型复杂度增加，在train...

出自Bin的专栏：http://blog.youkuaiyun.com/xbinworld 原文链接：传送门今天具体介绍一个Google DeepMind在15年提出的Spatial Transformer Networks，相当于在传统的一层Convolution中间，装了一个“插件”，可以使得传统的卷积带有了[裁剪]、[平移]、[缩放]、[旋转]等特性；理论上，作者希望可以减少CNN的训练数据量，以及减少...

传送门一.全连接层：                全连接层需要把输入拉成一个列项向量，如下图所示：         比如你的输入的feature map是2X2，那么就需要把这个feature map 拉成4X1的列向量，如果你的feature map 的channels是3，也就是你的输入是3X2X2，也就是相当于有了12个像素点，你就需要把feature map 拉成12X1的列...