akadiao的博客

偶然发现一款简单好用的云主机（极客云首页），有广告嫌疑，但用着的确不错，因此分享一下。 初次申请时系统会送10元代金券，有推荐人的话送20（可以填我的：15909831575…└(^o^)┘）。另外，它有多种GPU环境可以选择且不用配置环境，自带的TensorFlow、Tensorboard、Tflearn、Keras、Theano、Torch、Torchvision、Caffe、Jupyter...

交叉熵损失函数(cross entropy cost function):当激活函数采用sigmoid()函数，损失函数使用二次和成本函数时： C=12∥∥y−aL∥∥=12∑j(yj−aLj)2\ C=\frac{1}{2}\left \| y-a^{L} \right \|=\frac{1}{2}\sum_{j}^{ }(y_{j}-a_{j}^{L})^{2} 其中： a=σ(z)\ a

手写字符识别数据集THE MNIST DATABASE of handwritten digits：http://yann.lecun.com/exdb/mnist/ 其中训练集60000例，测试集10000例．加载数据 1．　读取数据#!/usr/bin/python# coding:utf-8import numpy as npimport cPickleimport gzipde

tensorflow playground网址tensorflow playground分类数据中有一下4种数据类型： Circle: XOR: Gaussian: Spiral: 每种数据都有橙色和蓝色两种组据组成，其中蓝色代表正值橙色代表负值;神经元之间的连线（代表神经元的权重，下图所示）的颜色也如此，且线的粗细代表了权重的大小． 每个点都有 x1\ x_{1}及 x

以下载fast-rcnn为例，其GitHub上路径为［https://github.com/rbgirshick/fast-rcnn］ 打开终端，进入到目的路径或直接在目的路径下打开终端，然后键入：git clone https://github.com/rbgirshick/fast-rcnn 可以在目标路径下看到已经下载好的文件：

消失的梯度问题(vanishing gradient problem)：更深层的神经网络可以学到不同抽象程度的概念，但随着深度的增加不同层的学习速率会显著不同，接近输出层的学习速率比较合适时前面的层学习太慢，有时被困住．产生vanishing gradient problem的原因假设每层只有一个神经元： 激活函数选sigmoid函数 神经元j输入输出分别为： zj=wjaj−1+bj\

背景知识： 高斯分布：  f(x)=12π√σexp(−(x−μ)22σ2)\ f(x)=\frac{1}{\sqrt{2\pi }\sigma }exp(-\frac{(x-\mu )^{2}}{2\sigma ^{2}})使用标准高斯分布对权重和偏向进行初始化问题：会导致学习速度慢根据独立标准高斯分布变量来选择权重和偏置， μ=0\ \mu=0 ， σ=1\ \sigma=1 标准高斯分

code:#!/usr/bin/python# coding:utf-8import cPickleimport gzipimport numpy as np# 通过利用GPU获得与手工用C实现差不多的性能import theano# tensor是在numpy 基础上更加适用于神经网络的张量操作的库， tensor所有的操作都是基于符号的import theano.tensor as

通过正则化regularization防止overfitting增加训练数据集的量和减小神经网络的规模是减小overfitting的途径之一．但更深层更大的网络潜在有更强的学习能力，即使对于固定的神经网络和固定的训练集仍可以减小overfitting. 常用的正则化形式有 L1 regularization: C=Co+λn∑w|w|\ C=C_{o}+\frac{\lambda }{n}\s

Xception在论文Xception: Deep Learning with Depthwise Separable Convolutions中被提出.Xception是对Inception V3的一种改进.主要将Inception V3中的Inception结构替换为depthwise separable convolution如图: 最左侧为Inception V3中使用的Incept...