Passenger_zhang的博客

原创 语义分割-DeepLabv2

DeepLabv2论文原文0. 简介1. 网络结构2. 空洞卷积3. ASPP（AtrousSpatial Pyramid Pooling）4. 全连接CRF5. 实验结果6. 总结论文原文DeepLab: Semantic Image Segmentation withDeep Convolutional Nets, Atrous Convolution,and Fully Connected CRFs0. 简介  DeepLabv2与DeepLabv1非常相似，针对CNN做语义分割的缺点做了些改

原创 语义分割-DeepLabv1

DeepLabv1论文原文0. 简介1. 网络架构2. hole算法（atrous算法）3. CRF4. 实验结果5. 总结论文原文Semantic image segmentation with deep convolutional nets and fully connected CRFs0. 简介  DeepLabv1针对CNN做语义分割的缺点做了些改进：将hole算法(即空洞卷积)引入了CNN中；将CRF与DCNN结合，提升了语义分割的精度；1. 网络架构  模型图  VGG

原创 语义分割-UNet++

UNet++论文原文0. 简介1. 网络结构2. Re-designed skip pathways3. Deep supervision4. 实验结果5. 总结论文原文UNet++: A Nested U-Net Architecturefor Medical Image Segmentatio0. 简介  UNet++也是主要用于医学图像分割网络：它针对UNet架构增加上采样节点，对encoder部分进行提前上采样；重新设计了skip connection的连接路径；加入深监督帮助网络学

原创 语义分割-U-Net

U-Net论文原文0. 简介1. 网络结构2. overlap-tile重叠策略3. 损失函数设计4. 网络初始化5. 实验结果6. 总结论文原文U-Net: Convolutional Networks for Biomedical Image Segmentation0. 简介  U-Net基于FCN网络进行拓展，使得其在可用数据量较少的医学图像分割领域取得了很好的分割效果：在上采样过程中，大幅提升了featureMap的通道数，使得底层语义信息能够更好地传递到上层；decoder过程，不

原创 语义分割-SegNet

SegNet论文原文0. 简介1. 网络架构2. 上采样3. 实验结果4. 总结论文原文SegNet: A Deep ConvolutionalEncoder-Decoder Architecture for ImageSegmentation0. 简介  SegNet与DeconvNet在结构上非常相似，也都使用了maxpooling的索引来进行上采样，两者主要区别在于：SegNet去掉了FC层，而DeconvNet没有；SegNet在decoder中使用了卷积，而DeconvNet使用了反

原创 语义分割-DeconvNet

DeconvNet论文原文0. 简介1. 网络架构2. 反卷积网络-Unpooling3. 反卷积网络-Deconvolution4. 网络训练5. 网络推理6. 与FCN集成7. 实验结果8. 总结论文原文Learning Deconvolution Network for Semantic Segmentation0. 简介  DeconvNet发现FCN中存在两个主要问题：一是FCN中的感受野固定，对于分割大于这个感受野，或者小于感受野尺寸的目标不利；二是FCN在上采样恢复到原来的尺寸过

原创 语义分割-FCN

FCN论文原文0. 简介1. 网络架构2. 从分类网络到分割网络3. upsampling4. skip connection5. 实验结果6. 总结论文原文Fully Convolutional Networksfor Semantic Segmentation0. 简介  FCN旨在建立完全卷积的网络来处理任意大小的输入图像，利用一系列卷积操作提取特征，对于最终得到的尺寸不断下降的特征图，利用卷积操作代替全连接操作调整特征图的通道数为分类类别数，最后利用转置卷积(transpose convol

原创 图像分类训练tricks

图像分类训练tricks1. 优化器2. 学习率及学习率下降策略2. 1 选择合适的学习率3. weight_decay4. label_smoothing5. 通过验证集和测试集的准确度确定调优策略6. 数据增强6.1 图像变换类6.2 图像裁剪类6.3 图像混叠类7. 参考资料  本文简单整理了一些图像分类训练tricks，后续可能会陆续加以补充。1. 优化器  带momentum（=0.9）的SGD优化器的使用最多，收敛精度常常更好，但收敛速度慢，初始学习率设置要靠经验设置（参考值0.1）。 

原创 Bag of Tricks for Image Classification with Convolutional Neural Networks

CNN网络训练中的tricks总结论文原文Abstract1. Introduction2. Training Procedures2.1 Experiment Results3. Efficient Training3.1 Large-batch training3.2 Low-precision training3.3 Experiment Results4. Model Tweaks4.1 ResNet Architecture4.2 ResNet Tweaks4.3 Experiment Resul

原创 《神经网络与深度学习》-深度生成模型

深度生成模型1. 概率生成模型1.1 密度估计1.2 生成样本1.3 应用于监督学习2. 变分自编码器2.1 含隐变量的生成模型2.2 推断网络2.2.1 推断网络的目标2.3 生成网络2.4 模型汇总2.5 再参数化2.6 训练3. 生成对抗网络3.1 显式密度模型和隐式密度模型3.2 网络分解3.3 训练3.4 一个生成对抗网络的具体实现：DCGAN3.5 模型分析3.6 改进模型  概率生成模型（Probabilistic Generative Model）简称生成模型，指一系列用于随机生成可观测数

原创 《神经网络与深度学习》-深度信念网络

深度信念网络1. 玻尔兹曼机1.1 生成模型1.2 能量最小化与模拟退火1.3 参数学习2. 受限玻尔兹曼机2.1 生成模型2.2 参数学习2.2.1 对比散度学习算法2.3 受限玻尔兹曼机的类型3. 深度信念网络3.1 生成模型3.2 参数学习3.2.1 逐层预训练3.2.1 精调  对于复杂的数据分布，通常只能观测到有限的局部特征，且含有噪声，如要对这个数据分布进行建模，要挖掘可观测变量之间的依赖关系，以及可观测变量背后隐藏的内部表示  本文介绍可有效学习变量之间复杂依赖关系的概率图模型（深度信念网

原创 《神经网络与深度学习》-概率图模型

概率图模型1. 模型的表示1.1 有向图模型1.2 常见的有向图模型1.3 无向图模型1.4 无向图模型的概率分解1.5 常见的无向图模型1.5 有向图和无向图之间的转换2. 学习2.1 不含隐变量的参数估计2.2 含隐变量的参数估计3. 推断3.1 精确推断3.2 近似推断4. 变分推断5. 基于采样法的近似推断5.1 采样法5.2 拒绝采样5.3 重要性采样5.4 马尔科夫链蒙特卡罗方法  1. 模型的表示  1.1 有向图模型  1.2 常见的有向图模型  1.3 无向图模型  1

原创 《神经网络与深度学习》-模型独立的学习方式

模型独立的学习方式1. 集成学习1.1 AdaBoost算法2. 自训练和协同训练2.1 自训练2.2 协同训练3. 多任务学习4. 迁移学习4.1 归纳迁移学习4.2 转导迁移学习5. 终身学习6. 元学习4.1 基于优化器的元学习4.2 模型无关的元学习  本文介绍集成学习、协同学习、自训练、多任务学习、迁移学习、终身学习、小样本学习、元学习等学习方式。这些学习方式不限于具体的模型，不管是前馈神经网络、RNN或其他模型。然而一种学习方式，往往会对具有一定特性的模型效果更佳，如集成学习对方差较大的模型组

原创 《神经网络与深度学习》-无监督学习

无监督学习1. 无监督特征学习1.1 主成分分析1.2 稀疏编码1.2.1 训练方法1.2.2 稀疏编码的优点1.3 自编码器1.4 稀疏自编码器1.5 堆叠自编码器1.6 降噪自编码器2. 概率密度估计2.1 参数密度估计2.1.1 正太分布2.1.2 多项分布2.2 非参数密度估计2.2.1 直方图法2.2.2 核方法2.2.3 K近邻方法  无监督学习（Unsupervised Learning，UL）是指从无标签的数据中学习出有用的模式，无监督学习算法一般直接从原始数据中学习，不需要标签。若监督学

原创 《神经网络与深度学习》-注意力机制与外部记忆

注意力机制与外部记忆1. 认知神经学中的注意力2. 注意力机制2.1 注意力机制的变体2.1.1 硬性注意力2.1.2 键值对注意力2.1.3 多头注意力2.1.4 结构化注意力2.1.5 指针网络3. 自注意力模型4. 人脑中的记忆5. 记忆增强神经网络6. 基于神经动力学的联想记忆  前馈网络和循环网络拟合能力很强，但由于优化算法和计算能力的限制，实践中难以达到通用近似的能力。处理复杂任务时，计算机的计算能力仍是限制神经网络发展的瓶颈。  为减少计算复杂度，借鉴生物神经网络的机制，引入了局部连接、权

原创 《神经网络与深度学习》-网络优化和正则化

网络优化与正则化1. 网络优化1.1 网络优化的难点1.1.1 网络结构的多样性1.1.2 高维变量的非凸优化2. 优化算法2.1 小批量梯度下降2.2 批量大小选择2.3 学习率调整2.3.1 学习率衰减2.3.2 学习率预热2.3.3 周期性学习率调整2.3.4 AdaGrad算法2.3.5 RMSprop算法2.3.6 AdaDelta算法2.4 梯度估计修正2.4.1 动量法2.4.2 Nesterov 加速梯度2.4.3 Adam 算法2.4.4 梯度截断2.5 优化算法总结3. 参数初始化3.1

原创 《神经网络与深度学习》-循环神经网络

循环神经网络1. 给网络增加记忆能力1.1 延时神经网络1.2 有外部输入的非线性自回归模型1.3 循环神经网络2. 简单循环网络2.1 循环神经网络的计算能力2.1.1 循环神经网络的通用近似定理2.1.2 图灵完备3. 应用到机器学习3.1 序列到类别模式3.2 同步的序列到序列模式3.3 异步的序列到序列模式4. 参数学习4.1 随时间反向传播算法4.2 实时循环学习算法  全前馈神经网络，信息单向传递，网络易学习，但能力被减弱。网络输出只依赖于当前的输入。输入输出维数固定。  循环神经网络，具有

原创 《神经网络与深度学习》-卷积神经网络

卷积神经网络1. 卷积1.1 互相关1.2 卷积的变种1.2.1 转置卷积1.2.2 空洞卷积1.3 卷积的数学性质1.3.1 交换性1.3.2 导数2. 卷积神经网络2.1 用卷积代替全连接2.2 卷积层2.3 汇聚层（池化层）2.4 典型的卷积网络结构3 参数学习3.1 误差项的计算4 典型的卷积神经网络4.1 LeNet-54.2 AlexNet4.3 Inception4.4 残差网络利用全连接前馈网络处理图像时的问题：（1）参数太多：  对于输入的1001003的RGB图像，全连接前馈网络，

原创 《神经网络与深度学习》-前馈神经网络