hzhj的博客

Why MobileNet and Its Variants (e.g. ShuffleNet) Are Fast文章通过输入与输出连通性的角度直观上分析了不同卷积模式计算量的改变情况。图片来自这里基础卷积模块standard convolution图片来自这里标准卷积的计算量为HWNK²M，可以分为3部分(1) the spatial size of the input...

人脸损失函数的各种变体都是基于softmax的交叉熵损失函数进行改进的，因此本文首先介绍基础形式，然后对各种变体进行说明。基于softmax的交叉熵损失函数先放上两者的基本形式 CE形式，其中为样本真实分布，为该样本观察分布 Softmax形式基于softmax的交叉熵损失函数，就是利用softmax的值替代CE中样本的观察分布，真实分布为...

     本文节选自CVer《深度学习速查词典》中的一部分内容，并补充一些常见名词。       batch size      一次前向或反向传播时样本的数目，该参数受限于内存的大小。       iteration      样本传播的次数，每次传播的样本数为batch大小，注：一次样本的传播包括前向和反向传播。      epoch      所有训练样本的传播次...

        承上文，本文根据文章的主要内容进行翻译，介绍反卷积的缺点及对应的解决方法。        反卷积的结果中通常伴随着重叠区域的出现，并且对于两个维度的图像来说，重叠区域的不均匀性更加明显，如下图中阴影部分为重叠区域，黑色区域为不均匀的重叠效果。上采样出现的棋盘格现象   图片来自这里         通常上采样时，需要进行多次反卷积，这样不...

       本文的主角是Transposed Convolution(转置卷积)，又名Fractionally-strided convolution和deconvolution，其功能是由低分辨率图像生成高分辨率图像，常出现在GAN和图像分割等研究领域。本文根据文章直观的介绍其运算过程，如有差错请指正。卷积示例 卷积操作 反卷积操作         卷积操作以3*...

     维基百科中是这样描述交叉熵的。    大意是，相同数据集下，对非真实概率分布(拟合概率分布)q而不是对真实概率分布p进行编码优化时，两个概率分布的交叉熵表示辨别集合中的个体时所需的平均编码长度。公式表示交叉熵的定义，里边包含有熵和KL散度(即相对熵)的概念。关于需要说明的是：1. 该公式表示从q到p的KL散度（此处wiki中的解释有误，移步这查看）；2.p相对于q的相对熵；3.由相对关系...

    BP(Backpropagation Algorithm，反向传播算法)在神经网络学习中有着无可替代的作用，关于其优化方法可阅读该文章《一文看懂各种神经网络优化算法：从梯度下降到Adam方法》。本文仅立足于反向传播的实现过程。文中如有理解偏差，请各位指正。    就反向传播的字面理解是将数据从后(输出)向前(输入)传递，数据的具体形式是代价函数对其超参数(权重(W)和偏置(b))的偏导数，...

 原文由Kailash Ahiwar（Mate Labs联合创始人兼CTO ）发表于hackernoon。文中还有个亮点：如何在5min训练一个机器学习模型。本文仅翻译主要部分，并且尽量不改变原文的行文结构，详细内容可查看原文。 神经元(节点)-该结构为神经网络的基本单元(可理解为神经网络中单层feature map上的像素)。它可以接收一定量的输入和一个bias值，经过运算后得到输出。工...

展示几种激活函数，详见该wiki。针对不同激活函数的可视化，可查看该网页。参考文献：https://en.wikipedia.org/wiki/Activation_function SGD