z小白的博客

简介使用卷积操作的动机是让网络关注有意义的局部特征，同时因为其参数共享的机制，能够极大地降低参数量，提高计算效率。深度学习发展至今，衍生出了多种卷积类型。除了常规卷积外，还有转置卷积、空洞卷积、可分离卷积等。常规卷积以2D卷积为例，一个卷积操作通常包含以下几个参数：5x5常规卷积 stride=1 padding卷积核尺寸（kernel size）：卷积核的感受野，也就是每次...

简介深度学习发展至今，在很多人工智能应用领域扮演者重要的角色。深度学习能够从数据中学习复杂而抽象的特征表示，但是这个充满意义的学习模式目前依然缺乏“可解释”性，也就是常说的“黑盒子”。例如，深度学习模型对对抗性实例（adversarial examples）极其敏感（模型表现不好），使得研究者不得不思考对模型的理解。这种缺乏“可解释”性可能是阻碍未来深度学习技术发展的一个重要瓶颈。Beng...

深度神经网络难训练一个重要的原因就是深度神经网络涉及很多层的叠加，每一层的参数变化都会导致下一层输入数据分布的变化，随着层数的增加，高层输入数据分布变化会非常剧烈，这就使得高层需要不断适应低层的参数更新。为了训练好模型，我们需要谨慎初始化网络权重，调整学习率等。原理分析为了解决这个问题，一个比较直接的想法就是对每层输入数据都进行标准化。Batch Normalization确实就是这样...

简介ResNet是何凯明大神在2015年提出的一种网络结构，获得了ILSVRC-2015分类任务的第一名，同时在ImageNet detection，ImageNet localization，COCO detection和COCO segmentation等任务中均获得了第一名，在当时可谓是轰动一时。ResNet又名残差神经网络，指的是在传统卷积神经网络中加入残差学习（residual ...

Keras可通过TensorBoard来可视化训练过程，以回调函数的形式提供TensorBoard的功能。TensorBoard是TensorFlow提供的可视化工具，该回调函数将日志信息写入TensorBorad，使得你可以动态的观察训练和测试指标的图像以及不同层的激活值直方图。keras.callbacks.TensorBoard(log_dir='./logs', histogra...

目录GoogLeNet系列解读Inception v1Inception v2Inception v3Inception v4简介在介绍Inception v4之前，首先说明一下Inception v4没有使用残差学习的思想。大部分小伙伴对Inception v4存在一个误解，认为它是Inception module与残差学习的结合，其实并不是这样，Inception ...

目录GoogLeNet系列解读Inception v1Inception v2Inception v3Inception v4Inception v3Inception v3整体上采用了Inception v2的网络结构，并在优化算法、正则化等方面做了改进，总结如下：1. 优化算法使用RMSProp替代SGD。2. 使用Label Smoothing Regul...

目录GoogLeNet系列解读Inception v1Inception v2Inception v3Inception v4简介GoogLeNet凭借其优秀的表现，得到了很多研究人员的学习和使用，因此Google又对其进行了改进，产生了GoogLeNet的升级版本，也就是Inception v2。论文地址：Rethinking the Inception Arch...

目录GoogLeNet系列解读Inception v1Inception v2Inception v3Inception v4简介GoogLeNet网络核心模块是Inception module，一共经历了4代，其中第一代网络获得了2014年ILSVRC竞赛的分类任务第一名，因此促使了研究者对Inception module的兴趣，使Inception module不断...

简介Alexnet是2012年ImageNet比赛的冠军Hinton及其学生Alex Krizhevsky提出，并以其姓名命名的网络。Alexnet的提出也正式掀起了深度学习的热潮，激发了研究者对深度学习的热情。虽然后面出现了更为优秀的VGGNet、GooLeNet、ResNet等网络，但是Alexnet的地位是不可撼动的，因此我们有必要去花些时间了解一下这一深度学习史上的伟大杰作。Ale...

这篇文章不仅仅关注于VGGNet的网络结构，重点在于分析VGGNet设计者当时的出发点，以及能带给我们什么启发。简介VGGNet由牛津大学的视觉几何组（Visual Geometry Group）提出，获得了2014年ILSVRC竞赛的分类任务第二名和定位任务第一名，主要贡献在于证明了使用3x3小卷积核，增加网络深度可以有效提升模型性能，并且对于其他数据集也有很好的泛化性能。论文链接：...

1x1卷积最初引起研究者的重视应该是在Network in Network这篇文章里，后面在GoogLeNet和ResNet中都使用了1x1卷积，那么1x1卷积到底有什么用呢？我认为主要作用有三点：1. 实现跨通道的信息交互和整合。1x1卷积核只有一个参数，当它作用在多通道的feature map上时，相当于不同通道上的一个线性组合，实际上就是加起来再乘以一个系数，但是这样输出的featu...

在机器学习里面做一些分类任务时，经常会使用到一些评价指标，下面就一些常用的指标进行详细的说明。上图表示为一个二分类的混淆矩阵（多分类同理，只需要把不属于当前类的其他类都考虑为负例），表格中的四个参数说明：True Positive（TP）：预测为正例，实际为正例False Positive（FP）：预测为正例，实际为负例True Negative（TN）：预测为负例，实际为负例...

依赖：TensorFlow，AnacondaTensorFlow（附Anaconda安装）安装教程参考：GPU：https://blog.youkuaiyun.com/zzc15806/article/details/80652749CPU：https://blog.youkuaiyun.com/zzc15806/article/details/73662491Keras安装：pip install...

一、使用GPU训练的时候会遇到的问题默认下，Tensorflow会占用机器上所有可见的GPU显存。这也就是说tensorflow一次只能训练一个进程，当使用服务器或者其他共用的设备时，会耗费大量资源。二、解决方法1）指定GPU进行训练$  os.environ['CUDA_VISIBLE_DEVICES'] = '0'   # FLAGS.gpu_id, 指定gpu0卡2）按照...

在机器学习这个领域，尤其是做多媒体（声音、图像、视频）相关的机器学习方法研究，会涉及很多特征、分类模型（分类任务）的选择。以声音识别为例，常见的特征有MFCC、LPCC、spectrogram-like features 等，分类模型就很多了，有传统的分类模型SVM、KNN、Random Forest，还有现在比较火的深度模型DNN、CNN、RNN等。而往往单特征、单模型很难取得理想的性能（per...

一、相关理论本篇博文主要介绍南京大学周志华教授在2017年提出的一种深度森林结构——gcForest（多粒度级联森林）。近年来，深度神经网络在图像和声音处理领域取得了很大的进展。关于深度神经网络，我们可以把它简单的理解为多层非线性函数的堆叠，当我们人工很难或者不想去寻找两个目标之间的非线性映射关系，我们就多堆叠几层，让机器自己去学习它们之间的关系，这就是深度学习最初的想法。既然神经网络可以堆叠...

Keras提供两种学习率适应方法，可通过回调函数实现。1. LearningRateSchedulerkeras.callbacks.LearningRateScheduler(schedule)该回调函数是学习率调度器.参数schedule：函数，该函数以epoch号为参数（从0算起的整数），返回一个新学习率（浮点数）代码import keras.backend a...

一、相关理论Mixup是MIT和FAIR在ICLR 2018上发表的文章中提到的一种数据增强算法。在介绍mixup之前，我们首先简单了解两个概念：经验风险最小化（Empirical risk minimization，ERM）和邻域风险最小化（Vicinal Risk Minimization，VRM）。“经验风险最小化”是目前大多数网络优化都遵循的一个原则，即使用已知的经验数据（训练样本...

深度学习中有一些易混淆的概念，根据我自己的理解对这些概念做一个简单的总结，如有错误之处，欢迎指正。参数（parameters）：指的是模型可以根据所输入的数据自动学习出来的变量。常见的模型参数有神经网络中的权重、支持向量机中的支持向量等。超参数（hyper-parameters）：超参数的值不是通过算法学出来的，而是人通过经验设定的（当然，也可以设计一个学习算法来找出模型最优的超参数，比如...

TensorFlow 安装教程：GPU：https://blog.youkuaiyun.com/zzc15806/article/details/80652749CPU：https://blog.youkuaiyun.com/zzc15806/article/details/73662491一、安装显卡驱动将NVIDIA驱动更改如下： 二、安装CUDA 8.02.1 下载下载地址：...

CPU版本安装教程：https://blog.youkuaiyun.com/zzc15806/article/details/73662491一、安装显卡驱动将NVIDIA驱动更改如下： 二、安装CUDA 8.02.1 下载下载地址：https://developer.nvidia.com/cuda-downloads 2.2 安装$ cd ~/Downloa...

GPU版本安装教程：https://blog.youkuaiyun.com/zzc15806/article/details/806527491.下载并安装Anaconda1.1 下载从Anaconda官网（https://www.anaconda.com/distribution/）上下载Linux版本。其他版本：https://repo.continuum.io/archive/1.2 安...

持续更新学习清单深度学习圣经：《深度学习》（《Deep Learning》）GitHub地址：https://github.com/exacity/deeplearningbook-chinese各种框架（keras, pytorch, tensorflow, etc）实现简单深度学习算法：https://github.com/hunkim/DeepLearningZeroToAll...