Double_V的博客

深度学习优化器算法详解：梯度更新规则+缺点+如何选择

有很多的初学者表示，在完成深度学习的在线课程之后学到了很多的东西，但是却不知道如何进行下一步的学习，如何不必依赖别人进行下一次的突破成为亟需解决的问题。在Quora上有人提问：如何测试一个人是否有资格从事机器学习？ Andrew Ng（创始人谷歌大脑，百度AI小组前负责人）表示，任何人都有资格从事机器学习。 。他说，在完成一些与ML相关的课程后，“更进一步，阅读研究论文。更好的是，尝试在研究论文...

GAN的应用汇总（持续更新）前言：GAN全称是Generator adversarial networks,中文是生成对抗网络，是一种生成式模型，由good fellow在14年提出，近四年来被AI研究者疯狂研（guan）究（shui），更有大神建立一个GAN zoo，收集了上百种不同的GAN：https://github.com/hindupuravinash/the-gan...

本部分是 从0到1 实现YOLO v3 的第二部分，前两部分主要介绍了YOLO的工作原理，包含的模块的介绍以及如何用pytorch搭建完整的YOLOv3网络结构。本部分主要介绍如何完成YOLO的前馈部分。 本文假设读者已经完成了上部分的阅读，以及对pytorch有一定的了解。定义网络首先在工程目录下新建一个darknet.py文件，接下来使用pytorch的nn.Module搭建...

前言计算机视觉（CV）一直是目前深度学习领域最热的研究领域，其是一种交叉学科包括计算机科学（computer science / (Graphics, Algorithms, Theory, Systems, Architecture）、数学 (Information Retrieval, Machine Learning)、工程学(Robotics, Speech, NLP, Image...

前言Face book AI research（FAIR）吴育昕-凯明联合推出重磅新作Group Normbalization（GN），提出使用Group Normalization 替代深度学习里程碑式的工作Batch normalization，笔者见猎心喜，希望和各位分享此工作，本文将从以下三个方面为读者详细解读此篇文章： What’s wrong with BN ? ...

使用tf fine-tune resnet模型前言使用tensorflow踩了很多的坑，尤其是使用tf的slim模块的时候，其中batchnorm的问题困挠了我很久，问题表现如下：训练结果很好，测试的时候is−trainingis−trainingis-training设置成false测试结果很差，设置成true测试结果恢复正常训练结果很好，但是测试的结果要差上不少...

迁移学习的实现需要网络在其他数据集上做预训练，完成参数调优工作，然后拿预训练好的参数在新的任务上做fine-tune，但是有时候可能只需要预训练的网络的一部分权重，本文主要提供一个方法如何在tf上加载想要加载的权重。在使用tensorflow加载网络权重的时候，直接使用tf.train.Saver().restore(sess, ‘ckpt’)的话是直接加载了全部权重，我们可能只需要加载网络的...

前言本文主要深入介绍深度学习中的梯度消失和梯度爆炸的问题以及解决方案。本文分为三部分，第一部分主要直观的介绍深度学习中为什么使用梯度更新，第二部分主要介绍深度学习中梯度消失及爆炸的原因，第三部分对提出梯度消失及爆炸的解决方案。有基础的同鞋可以跳着阅读。 其中，梯度消失爆炸的解决方案主要包括以下几个部分。- 预训练加微调- 梯度剪切、权重正则（针对梯度爆炸）- 使用不同的激活函数-

一：VGG详解本节主要对VGG网络结构做一个详细的解读，并针对它所在Alexnet上做出的改动做详解的分析。 首先，附上一张VGG的网络结构图： 由上图所知，VGG一共有五段卷积，每段卷积之后紧接着最大池化层，作者一共实验了6种网络结构。分别是VGG-11，VGG-13,VGG-16,VGG-19，网络的输入是224*224大小的图像，输出是图像分类结果（本文只针对网络在图像分类任务上

GAN原理、优缺点、应用简要总结

GAN系列学习(2)——前生今世 本文已投稿至微信公众号--机器学习算法工程师，欢迎关注       本文是GAN系列学习–前世今生第二篇，在第一篇中主要介绍了GAN的原理部分，在此篇文章中，主要总结了常用的GAN包括DCGAN,WGAN,WGAN-GP,LSGAN-BEGAN的详细原理介

前言在这篇博文中，将向你展示如何自由的在任何Python代码中使用Tensorboard。最近身边的一些朋友们都开始从tensorflow转战Pytorch等，Tensorflow使用静态编译的计算图并在单独的运行时环境中运行大部分应用程序，与Tensorflow相比，PyTorch允许你完全使用Python创建动态计算图，单单动态调试这一点就欲罢不能（真香警告）。但是tensorflow的...