为实现四个现代化奋斗

这篇文章是Google发布的关于神经网络量化方面的文章，文章地址：https://arxiv.org/abs/1712.05877主要内容摘自：https://www.jianshu.com/p/19467624b4b0有很少的修改介绍Low bits压缩再用于CNN推理当属该下的推理优化技术主流。将本是Float32类型的乘法或乘加计算使用INT8类型来做可一次批量（SIMD...

转自：https://blog.youkuaiyun.com/tintinetmilou/article/details/81607721Depthwise(DW)卷积与Pointwise(PW)卷积，合起来被称作Depthwise Separable Convolution(参见Google的Xception)，该结构和常规卷积操作类似，可用来提取特征，但相比于常规卷积操作，其参数量和运算成本较低。所以...

Faster rcnn代码理解（1）: http://www.cnblogs.com/zf-blog/p/7273182.htmlFaster rcnn代码理解（2）: http://www.cnblogs.com/zf-blog/p/7286405.htmlFaster rcnn代码理解（3）: http://www.cnblogs.com/zf-blog/p/7307502.htmlFaste...

转载自：https://blog.youkuaiyun.com/losteng/article/details/51520555据说用GAP代替FC可以减少参数数量，了解了一下什么是GAP。这个概念出自于 network in network 主要是用来解决全连接的问题，其主要是是将最后一层的特征图进行整张图的一个均值池化，形成一个特征点，将这些特征点组成最后的特征向量进行softmax中进行计算。举个例子假...

转载自：http://blog.youkuaiyun.com/u014722627/article/details/77938703理论部分 深度学习 （通甲优博实习面试）视觉计算任务有哪些，你怎么分类 我把任务分为像素级别、目标级别、理解级别。像素级别的任务一般是传统的图像处理任务，他们不需要用到图像的语义信息，或者最多用到底层特征（比如图像的边缘、纹理），这些任务有图像增强、传统的图像复原...

1*1的卷积核的作用主要是为了实现维度变换。对于一张feature map，你可以看作一张图。一张彩色的图像一般有3个颜色通道（RGB），而对一张feature map可能有N个通道，他是由上一次的N的filter生成的。在卷积时，若我们假定该卷积层有M个filter，则在卷积时，每个filter会对每一个通道都去卷积一遍，然后最后通过求和把每个通道的卷积结果通过线性组合（求和等），得到最终的...

寒小阳： http://blog.youkuaiyun.com/han_xiaoyang Poll的笔记： http://www.cnblogs.com/maybe2030/ 目标检测： http://blog.youkuaiyun.com/u014380165/article/category/6967389 Antkillerfarm: https://antkillerfarm.github.io/...

神经网络模型的效果及优化的目标是通过损失函数来定义的。1.平方差损失函数平方差函数是最常用的损失函数，也就是L2 loss再除以2。 E=12(a−y)2E=12(a−y)2 E=\frac{1}{2}(a-y)^2 其中y是我们期望的输出，a为神经元的实际输出 (a=σ(Wx+b)a=σ(Wx+b)a=\sigma(Wx+b), σσ\sigma 是激活函数) 。也就...

转载自：http://www.cnblogs.com/maybe2030/p/5089753.html　　在应用机器学习算法时，我们通常采用梯度下降法来对采用的算法进行训练。其实，常用的梯度下降法还具体包含有三种不同的形式，它们也各自有着不同的优缺点。　　下面我们以线性回归算法来对三种梯度下降法进行比较。　　一般线性回归函数的假设函数为： hθ=∑j=0nθjxjhθ=...

在网上发现一篇写faster rcnn的文章，写的非常好。但是貌似找不到出处了，原文作者貌似把博客都删了，很可惜，很想看一下他的其他文章。 ↑↑↑↑目录在这里↑↑↑↑↑Faster RCNN github : https://github.com/rbgirshick/py-faster-rcnn...

有两种方式，一种是使用python layer相对简单，另一种是使用C++。1.python layer参考 http://chrischoy.github.io/research/caffe-python-layer/layer { type: 'Python' name: 'loss' top: 'loss' bottom: 'ipx' bottom: 'ipy' py...

转载自：https://blog.youkuaiyun.com/qq_28132591/article/details/64124491 学习深度学习，有几篇论文大多数人都会读到。其中一篇就是《Going deeper with convolutions》，google在这片论文中提到了一个inception...

转自：https://www.jianshu.com/p/dcec3f07d3b5今天的内容有：LSTM 思路LSTM 的前向计算LSTM 的反向传播关于调参LSTM长短时记忆网络(Long Short Term Memory Network, LSTM)，是一种改进之后的循环神经网络，可以解决RNN无法处理长距离的依赖的问题，目前比较流行。长短时记忆网络的思路：原始 RNN 的隐藏层只有一个状态...

转载自：https://blog.youkuaiyun.com/hrsstudy/article/details/70305791这篇文章讲的比较清楚，而且有一些动图不错，yolo的损失函数是个关键，不太明白作者是怎么想出来的，这么设计的原因是什么。You Only Look Once: Unified, Real-Time Object DetectionAbstract作者提出了一种新的物体检测方法YOL...

转载自：https://zhuanlan.zhihu.com/p/31575074在梳理CNN经典模型的过程中，我理解到其实经典模型演进中的很多创新点都与改善模型计算复杂度紧密相关，因此今天就让我们对卷积神经网络的复杂度分析简单总结一下下。本文主要关注的是针对模型本身的复杂度分析（其实并不是很复杂啦～）。如果想要进一步评估模型在计算平台上的理论计算性能，则需要了解 Roofline Model 的...

谈到这个话题，有必要先介绍下“浮点数”和“定点数”这两个名词的概念。1.25 + (-2.75) = ？                                                                （1）上面这个算式我们心算就能轻松得出结果，同样的算式，交给单片机来完成，它要大致分解为下面三个计算步骤：1）加载操作数（也就是1.25和2.75）；2）做加法运算；3...

转自：https://blog.youkuaiyun.com/sscc_learning/article/details/79814146在深度学习的算法学习中，都会提到 channels 这个概念。在一般的深度学习框架的 conv2d 中，如 tensorflow 、mxnet ，channels 都是必填的一个参数。channels 该如何理解？先看一看不同框架中的解释文档。首先，是 tens...

卷积操作有两个问题：1. 图像越来越小；2. 图像边界信息丢失，即有些图像角落和边界的信息发挥作用较少。因此需要padding。卷积核大小通常为奇数一方面是为了方便same卷积padding对称填充，左右两边对称补零；n+2p-f+1=np=(f-1)/2另一方面，奇数过滤器有中心像素，便于确定过滤器的位置。paddingpadding的方式：备注 "...

转自：https://www.cnblogs.com/steven-yang/p/6348112.html机器学习中的基本数学知识注：本文的代码是使用Python 3写的。机器学习中的基本数学知识 线性代数（linear algebra） 第一公式 矩阵的操作 换位(transpose) 矩阵乘法 矩阵的各种乘积 内积 外积 ...

转自我的知乎专栏：https://zhuanlan.zhihu.com/p/34378516/edit神经网络模型是人工智能最基础的模型，它的诞生也是受益于神经科学家对猫的大脑的研究。神经网络通过自学习的方式可以获得高度抽象的，手工特征无法达到的特征，在计算机视觉领域取得了革命性的突破。而神经网络之所以最近几年取得了这么大的成功，反向传播算法是一个很重要的原因。可以说，只有深入了解了反向传播算...

二次型多元函数极值Hessian矩阵正定矩阵如何判断一个矩阵是否是正定的，负定的，还是不定的呢？一个最常用的方法就是顺序主子式。实对称矩阵为正定矩阵的充要条件是的各顺序主子式都大于零。当然这个判定方法的计算量比较大。对于实二次型矩阵还有一个判定方法：实二次型矩阵为正定二次型的充要条件是的矩阵的特征值全大于零。为负定二次型的充要条件是的矩阵的特征值全小于零，否则是不定的。多元函数极值的判定泰勒展开式...

原文地址：http://jermmy.xyz/2017/05/04/2017-5-4-paper-notes-selective-search/与 Selective Search 初次见面是在著名的物体检测论文 Rich feature hierarchies for accurate object detection and semantic segmentation ，因此，这篇论文算是阅读...

该“零基础入门深度学习” 系列文章写的很好，我备份一下，以便经常学习，基础还是很重要的，深度学习核心的知识其实也并不多。就是卷积，激活函数，前向传播，反向传播。其中反向传播稍复杂，基本原理是梯度下降，实际上就是求偏导。这个系列把全连接和卷积层的反向传播讲的很清楚。有空我来手写一篇更通俗易懂但是也兼顾数学的反向传播科普文。文章列表零基础入门深度学习(1) - 感知器 零基础入门深度学习(2) - 线...

1.首先安装Anaconda2，可以直接使用安装包。 安装包下载地址：https://www.anaconda.com/download/2.同样在以上地址下载Anaconda3的安装包 安装Anaconda3的时候，安装目录为\Anaconda2\envs\py3，\Anaconda2\envs为安装Anaconda2后存在目录，py3为自建目录（也可以命名为其他名字） 安装的最后几步时请注

1.安装anacondahttps://www.continuum.io/downloads#linuxhttp://pan.baidu.com/s/1dE2XIDV下载后，在终端执行bash Anaconda2-4.3.1-Linux-x86_64.sh安装python2.72.安装tensorflow终端执行anacond

环境：ubuntu 14.04 LTS显卡：GTX TITAN X1. 安装NVIDIA驱动网上一堆手动安装驱动的帖子，又是关闭图形界面啊，又是登陆tt1终端，然后跑nvdia的run脚本。各种折腾，结果呢，还各种问题。 这里有一个非常简单的安装驱动的方法： http://jingyan.baidu.com/article/d7130635c5a86113fdf47532.html打开Addit

1. Anaconda的安装1）下载anaconda:https://www.continuum.io/downloads#Linux下载后，在终端执行:bash Anaconda2-4.3.1-Linux-x86_64.sh 2）配置环境变量1、在终端输入sudo gedit /etc/profile，打开profile文件 2、在文件末尾添加一行：export PATH=/home/ituri

1. ubuntu 安装 matlab最好不要使用MATHWORKS_R2014A，这个版本网上下的有问题，有些文件无法复制。推荐使用Matlab 2015b Linux64。下载地址：链接：http://pan.baidu.com/s/1eRC0Mg6 密码：1vje我再ubuntu14.04上安装成功。安装步骤借鉴：http://blog.youkuaiyun.com/xiaocainia

在编译py-faster-rcnn的pycaffe时出现以上错误：CXX .build_release/src/caffe/proto/caffe.pb.ccCXX src/caffe/blob.cppCXX src/caffe/data_transformer.cppCXX src/caffe/net.cppCXX src/caffe/solver.cppCXX

windows下安装caffe详见文章 http://blog.youkuaiyun.com/u013498583/article/details/54667344以下是caffe-windows python接口的配置。1. 配置文件CommonSettings.props的修改true D:\Anaconda2\D:\Anaconda

现在大部分的深度学习教程中都把卷积定义为图像矩阵和卷积核的按位点乘。实际上，这种操作亦应该是互相关（cross-correlation），而卷积需要把卷积核顺时针旋转180度然后再做点乘。数学定义：卷积：互相关：在卷积层的反向传播中，其实是需要对前一层的误差（也叫敏感度sensitivity)做padding（补零）然后再和卷积核做真正的卷积操作，也就是需要把卷积核顺时针翻转180度。...

提出该方法的背景可读该文章： http://blog.youkuaiyun.com/hjimce/article/details/50866313 本质类似于白化。不过在知乎看到另一种解释，bn可以减少梯度弥散。 bn的前向传播： 反向传播： BN的作用的一种解释：为了解决梯度弥散（消失） 知乎对bn的讨论：https://www.zhihu.com/question/38102762...

转载自：http://blog.youkuaiyun.com/raintungli/article/details/765830701. 神经网络这是一个常见的神经网络的图：这是一个常见的三层神经网络的基本构成，Layer L1是输入层，Layer L2是隐含层，Layer L3是隐含层，当我们输入x1,x2,x3等数据时，通过隐含层的计算、转换，输出你的期望，当你的输入和输出是一样的时候，成为自编码模型（A...

假设数据矩阵D如下3*3大小，是单通道的，我们首先需要补0将它扩充到(3+2*(floor(3/2)))* (3+2*(floor(3/2))) = 5*5大小的矩阵操作如下:补0操作接下需要将D_pad_zero与卷积核kernel做卷积运算，kernel size =3，pad = 1，stride =1，则可得出输出（3+2*1-3）/1+1 = 3;下图只是给出了一个卷积核，一个卷积核生成...

原文地址：http://jermmy.xyz/2017/12/16/2017-12-16-cnn-back-propagation/在一般的全联接神经网络中，我们通过反向传播算法计算参数的导数。BP 算法本质上可以认为是链式法则在矩阵求导上的运用。但 CNN 中的卷积操作则不再是全联接的形式，因此 CNN 的 BP 算法需要在原始的算法上稍作修改。这篇文章主要讲一下 BP 算法在卷积层和 pool...

1.在博客设置中采用markdown编辑器 2.使用在线LaTeX生成公式 http://www.codecogs.com/latex/eqneditor.php 复制公式代码 3.公式则用美元符号扩住，独立成行的公式要用两个连续的美元符号括住，其中…代表LaTeX公式的代码 比如\beta \ast \beta \leftarrow \epsilon 以上代码用框住就显示为：框住就显示...

转载自：https://www.cnblogs.com/zlxbky/p/7727895.html上传本地代码第一步：去github上创建自己的Repository，创建页面如下图所示：红框为新建的仓库的https地址第二步：echo "# Test" >> README.md第三步：建立git仓库git init第四步：将项目的所有文件添加到仓库中git add .第五步：git...

深度学习最全优化方法总结比较（SGD，Adagrad，Adadelta，Adam，Adamax，Nadam）转载自：https://zhuanlan.zhihu.com/p/22252270SGD 此处的SGD指mini-batch gradient descent，关于batch gradient descent, stochastic gradient descent, 以及 mi...

转载自：http://blog.youkuaiyun.com/nini_coded/article/details/79302800dropout作为一种预防CNN过拟合的正则化方法被Hinton等人在2012年的经典论文《ImageNet Classification with Deep Convolutional》中提出。dropout的原理很简单：在一次训练时的迭代中，对每一层中的神经元（总数为N）...

本文主要介绍caffe-windows的配置及如何训练mnist数据集