u012767526的专栏

在学过Andrew Ng的机器学习后，开始接触进阶的课程深度学习，这次主要写的是自编码器和稀疏限制，用于发掘数据中有趣的结构

Ubuntu14.04下的Caffe7.5的搭建 参考来源：https://github.com/tiangolo/caffe/blob/ubuntu-tutorial-b/docs/install_apt2.md本教程是在Ubuntu14.04下的（因为CUDA官方目前在Ubuntu64bit下支持的只有14.04和15.04两个版本，小编曾经试过在16.x的版本安装，结果的惨烈的）安装Gi

RCNN论文解读RCNN论文解读模型的结构Region ProposalCNNsSVMs分类器可视化手段这一周，我们主要的任务是继续完善DISC的coarse net以及实现DISC的fine net，另外，我们还需要看一篇堪称经典到不能再经典的论文，那就是Ross et.的Rich feature hierarchies for accurate object detection and

用C++自定义 层以及可视化结果用C自定义 层以及可视化结果用C自定义层三处地方重新编译并测试可视化结果可视化loss可视化blobs修改caffecpp添加可视化层后记上一周，我们学校开始了实训，我参与的项目是深度学习相关的，于是第一周我们专注与学习Caffe的使用，包括对Caffe的源码的理解。接着，我们被要求定义一个自己的数据输入层，以完成特定的任务。用C++自定义层对于刚开

Week Report 1—AlexNetWeek Report 1AlexNetAlexNet的网络结构卷积层ReLU这个不是层不过也放在这里讨论吧池化层全连接层Dropout层数据预处理均值归零crop采样Fancy PCA采样这一周，我们主要关注深度学习环境的搭配以及两篇重要的论文，分别是“Imagenet Classification with Deep Convolut

利用caffe.proto自定义自己的网络利用caffeproto自定义自己的网络先不急让我们来看一下caffeproto里面都是些什么让我们把caffeproto用起后记caffe.proto存放在src/caffe/proto/目录下，建议读者能够打开它，跟着这篇教程，学会如何把它用起来（很多人都说要看，反正才一千三百多行是吧…小编我看了两百行就想睡觉了，关键是看了还容易忘，所以小编的建

SolverSolverSolver过程Solver方法选择Solver初始化Snapshotting与ResumingCaffe中的Solver是一个框架，在这个框架里，我们并没有控制权，我们能做的有填充solver需要的代码。 并且对于没有接触过Caffe的读者，强烈建议先阅读小编的上一篇基础内容，然后再看下面的内容会比较好理解。Solver过程Solver的过程大致如下：初始化so

Weights Update 与 DropoutWeights Update 与 Dropout参数更新Weights Update学习率是怎么来的随机梯度下降-Stochastic Gradient DescentBatch与SGD的合体Mini-Batch Gradient Descent再给力点Momentum来了考虑得再多一些-Nesterov Momentum Update平

Blobs，Layers与NetsBlobsLayers与NetsBlobsLayersNets后记Caffe主要就是有Blobs，Layers与Nets三部分组成，当然少不了Caffe内部的自动化机制，但是对于使用者来说，与我们密切相关的就是本文要介绍的这三个数据结构。 BlobsCaffe里面的数据存储的结构就是blob，它把用作前向传播的数据以及后向传播的梯度都保存了起来。再数学层面

ConvNets Typical Architecture与VGGNetConvNets Typical Architecture-卷积神经网络经典结构写到这里，小编已经大体覆盖了构建一个大型卷积神经网络所需要的知识点。下面是小编在上课是总结的卷积神经网络的结构。 读者是不是觉得上面的图的那些英文都似曾相识，是的，小编在之前的学习笔记中都有介绍，为了方便读者阅读，下面小编给出相应的链接 Con

Data Preprocessing, Weights Initialization与Batch NormalizationData Preprocessing Weights Initialization与Batch Normalization数据预处理Data Preprocessing权重初始化Weights Initialization让权重初始化为00方差1e-2标准差0方差1标

Softmax Loss 和 Multiclass SVM LossSoftmax Loss给出 （xi,yi）（x_i, y_i） ，其中 xix_i 是图像，yiy_i 是图像的类别（整数），s=f（xi,W）s = f（x_i,W），其中ss 是网络的输出，则定义误差如下： P(Y=k|X=xi)=esk∑jesjLi=−logP(Y=yi|X=xi)P(Y = k|X = x_i) =

Fully Connected Neural Network与Activation Function神经网络–Fully Connect Neural Network一个最简单的神经网络 hw,b=f(x1w1+x2w2+x3w3+b)=f(XW+b)h_{w,b}=f(x_1w_1+x_2w_2+x_3w_3+b)=f(XW+b) 向量化的python代码def f(z): retur

Gradient Descent与Backward Propagation梯度下降-Gradient Descent求梯度的方法根据梯度的定义:Numerical Method利用求导的常用公式根据梯度的定义求梯度f′（x）=limΔx→0f(x+Δx)−f(x)Δxf'（x）=\lim_{\Delta x\to 0}\dfrac{f(x+\Delta x)-f(x)}{\Delta x}

Convolution与PoolingConvolution与Pooling卷积-Convolution如何卷积首先给出要卷积的数据设置卷积的参数根据数据使用对应的过滤器开始卷积卷积参数计算公式非向量化的卷积层代码池化-Pooling后记卷积-Convolution总于写到卷积层这一部分了，呼。为了给大家一个比较容易理解的解释，我这一部分会以例子的形式来讲解如何做卷积。 相信如