Code_Haruka的博客

Inception-v4,Inception-ResNet and the Impact of Residual Connections on Learning lnception-v4, Inception-ResNet，残差连接对模型训练的影响 InceptionV4 Inception-v4可分为六大模块分别是: Stem、Inception-A、B、C、Reduction-A、B 每个模块都有针对性的设计，模型总共76层 带V表示不进行padding，而标V表示进行padding St

Deep Residual Learning for Image Recognition 图像识别中的深度残差学习网络 残差结构 Residual learning:让网络层拟合H(x)-x，而非H(x) 注:整个building block仍旧拟合H(x)，注意区分building block与网络层的差异，两者不一定等价 网络退化 网络退化(degradation problem) 越深的网络拟合能力越强，因此越深的网络训练误差应该越低，但实际相反 原因:并非过拟合，而是网络优化困难 C

Rethinking the Inception Architecture for Computer Vision重新思考计算机视觉中的Inception结构 网络设计原则 尽量避免信息瓶颈，通常发生在池化层，即特征图变小，信息量减少，类似一个瓶颈 采用更高维的表示方法能够更容易的处理网络的局部信息 大的卷积核可以分解为数个小卷积核，且不会降低网络能力 把握好深度和宽度的平衡 卷积分解 5 * 5分解为两个3 * 3 分解为非对称卷积(Asymmetric Convolutionals)

Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift 批标准化:缓解内部协变量偏移加快深度神经网络训练 Ics (Internal Covariate Shift，内部协变量偏移) ICS现象:输入数据分布变化，导致的模型训练困难，对深度神经网络影响极大。 白化(Whitening) 白化:去除输入数据的冗余信息，使得数据特征之间相关性较低，所有特征具有相同方

Going deeper with convolutions 更深的卷积网络 简介 Inception v1-GoogLeNet（论文阅读总结） - 知乎 (zhihu.com) 开启多尺度卷积时代 拉开1*1卷积广泛应用序幕 为GoogLeNet系列开辟道路 GoogLeNet结构 Inception Module 特点: 1．多尺度 2.1*1卷积降维，信息融合 3.3*3 max pooling保留了特征图数量 3*3 pool可让特征图通道数增加,且用较少计算量 缺点: 数

very deep convolutional networks for lagre-scale image recognition 大规模图像识别的深度卷积神经网络 ILSVRC-2014 定位冠军，分类亚军 开启小卷积核，深度卷积模型时代 相较于AlexNet top-5error从15.3%减小至7.3% OverFeat 提出了FC 全卷积利用1*1的卷积代替全连接层 研究背景 AlexNet:借鉴卷积模型结构 ZFNet:借鉴其采用小卷积核思想 OverFeat:借鉴全卷积

AlexNet: ImageNet Classification with Deep Convolutional Neural Networks 基于深度卷积神经网络的图像分类 在12年左右作为基于深度学习图像分类的开山之作，在当时看来网络是比较深的，但是现在看这个网络是很浅的 ILSVRC:大规模图像识别挑战赛 TOP 5 error:在分类任务中，如果预测结果概率前五的类中成功命中，就算做成功 意义 拉开了卷积神经网络统治计算机的序幕 加速了计算机视觉应用的落地 摘要 1.在ILS