qq_26972735的博客

现在逐渐的开始接触深度学习的知识，最近看了Ng老师的深度学习视频，看到里面介绍了几种经典的卷积神经网络其中就包含LeNet-5所以就照葫芦画瓢，用tensorflow实现了一下最原始的LeNet-5模型，顺便也是为了学习tensorflow。虽然代码很简单，由于是新手遇到了很多意想不到的坑。所以写篇博客记录一下。开始一定要牢记的一句话，一定要把模型分析透了再去写代码，每一层的输入是什么shap...

最近学习卷积网络用到cifar10数据集，自己写了一个工具类，用来读取已经下载到本地的cifar10数据集。代码写的不算好，但是自己用起来还可以。所以放到网上，有需要的可以拿去用。代码比较少，所以没有写注释。下面介绍一下实现的功能。完整的代码可以在github上下载。地址：https://github.com/NewQJX/DeepLearning/tree/master/Cifar10文...

    神经网络参数的初始化，在网络层数很深的情况下变得尤为重要。如果参数初始化的过小，很可能导致网络每一层的输出为都接近于0，那么可以这样认为每一层的输入都会很接近于0，在进行反向传播的时候，假如我们要更新某一层的参数W，该层的输出是g（WX）暂且先不考虑偏置项，则求W的梯度就会是：上一层的梯度 * 该层对g的梯度 * X，由于每层的输入都很小所以梯度就会很小，从而导致参数更新很慢，随着层数的增...

最近几个月为了写小论文，题目是关于用深度学习做人脸检索的，所以需要选择一款合适的深度学习框架，caffe我学完以后感觉使用不是很方便，之后有人向我推荐了Keras，其简单的风格吸引了我，之后的四个月我都一直在使用Keras框架，由于我用的时候，tensorflow的相关教程还不是很多，所以后端我使用theano。这次的心得主要分成两篇，第一...

池化层以后补充。def conv_backward(dZ, cache): """ Implement the backward propagation for a convolution function Arguments: dZ -- gradient of the cost with respect to the output of th...

最近在看GAN和VAE的过程中，发现信息熵的概念多次出现，就又复习了一下。为了更形象的了解信息熵，在网上找信息熵函数图像的过程中，发现只有二元的信息熵图像，出于好奇，画了就画了一下三元的。E=−p1∗log2p1−(1−p1)∗log2(1−p1)E = -p_1 * log_2p_1 - (1 - p_1) * log_2(1 - p_1)E=−p1​∗log2​p1​−(1−p1​)∗log...

这篇博客用来记录我自己用keras实现(抄写)VAE过程中，掉进的一个坑。。。。。。最近这几天在网上看了很多VAE的介绍，并且看了一下keras中的实现。自我感觉良好，就想按着官方的代码自己也去写一遍。不写不知道，一写吓一跳！！我跳进了一个很大坑中（笑哭），我在把代码写完以后，开始训练模型，发现代码报出如下错误。InvalidArgumentError: Incompatible shapes...

梯度下降方法总结import numpy as npimport matplotlib.pyplot as pltfrom mpl_toolkits.mplot3d import Axes3Dfrom IPython.display import Image深度学习中，我们最常用的优化算法就是基于梯度的方式了。所以在这里总结一下我目前所能理解的方法。（PS：在写这个的过程中，我发现指数...

GAN基础原理总结GAN是由Goodfellow提出的，叫做生成对抗网络，可以生成数据，属于生成模型。自从2014年第一篇GAN的论文提出后，对GAN的研究和改进就一直很火热，关于GAN的最新论文以及相关论文在The GAN Zoo中有非常全的总结。GAN的基本结构分为一个生成器G，和以判别器D。本文主要就是总结一下与GAN有关的基本思想和原理，分析它们是如何训练产生数据的。数据以图像为例。...