jsk_learner的博客

现主要对流行的CNN（卷积神经网络）进行梳理和介绍，涉及到网络的提出背景、如何改进的、网络结构的具体明细以及网络效果等。本篇是CNN系列之一。关键词：CNN，LeNet-5，AlexNet，GoogLeNet，VGGNet，BNInception，Inceptionv3

Inception系列PaperInception-v1-2014Inception-v2-2015Inception-v3-2015Paperv1: Going deeper with convolutions v2: Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covaria...

python绘制激活函数代码示例代码我构建了一个关于激活函数的类，大家可以随意使用，包括其输出值和梯度值。import matplotlib.pyplot as pltimport numpy as npclass ActivateFunc(): def __init__(self, x, b=None, lamb=None, alpha=None, a=None): ...

梯度不稳定概念和解决方法梯度消失和梯度爆炸问题概念原理详解解决方法更改激活函数（Relu、Leaky-Relu、P-Relu等）权重初始化加入BN层（Batch Normalization）梯度剪切、权重正则（针对梯度爆炸）使用预训练模型进行finetue使用ResNet残差结构梯度消失和梯度爆炸问题概念梯度消失是因为随着网络深度的加深，网络反向传播的小于1的导数经过逐层累积而导致其越靠近...

非线性激活函数详解饱和激活函数Sigmoid函数tanh函数非饱和激活函数Relu（修正线性单元）：ELU（指数线性单元）SELULeaky-Relu / R-ReluP-Relu（参数化修正线性单元）R-Relu（随机纠正线性单元）SwishMaxout关于激活函数统一说明参考链接因为深度学习模型中其它的层都是线性的函数拟合，即便是用很深的网络去拟合，其还是避免不了线性的特性，无法进行非线性...

deconvolutiondeconv（反卷积、转置卷积）起初是看FCN图像分割论文的时候，看到论文中用到deconvolution和up-sampling，不是特别理解up-samping和deconv之间的关系，也不知道deconv是以一种怎么样计算过程完成的。所以就去搜了相关资料，同时了解了空洞卷积-dilated conv的原理，在此博客记录一下。deconv（反卷积、转置卷积）...

CNN的感受野计算过程，以AlexNet为例感受野概念感受野计算公式—从第一层开始计算AlexNet感受野计算过程主要参考博客1主要参考博客2公式来源链接感受野概念在卷积神经网络中，感受野（Receptive Field）的定义是卷积神经网络每一层输出的特征图（feature map）上每个像素点在原始图像上映射的区域大小，这里的原始图像是指网络的输入图像，是经过预处理（如resiz...