鹊踏枝-码农的专栏

VS2013预处理器定义打开方式如下图所示：即先点击cv03—>Properties—>C/C++—>Preprocessor—>Preprocessor Definitions对于caffe程序中出现的db.cpp:36 unknown database backend问题的报错需要在预处理器中添加USE_LMDB，因为caffe需要一种数据输入格式，如下图所示：

在Windows下使用TensorFlow的显示工具TensorBoard时，有时会出现程序正常运行，TensorBoard在浏览器下也能正常打开，但是Graph菜单下没有流图显示，就此问题提出几点注意事项，在此之前，先说一下本人的配置环境，因为这个问题也因配置环境而异。在Windows系统下，采用Anaconda Python3.6安装，TensorFlow的版本是 tf.__version

知乎来源：https://zhuanlan.zhihu.com/p/27539515作为新入DL的新手，前段时间突然在翻看论文的时候翻到了CycGAN，觉得很是眼前一亮呀——训练一个风格转换器，不需要打label，甚至都不需要把训练数据进行配对，满满的幸福感。最先我是看到的CycleGAN，但是后续发现DiscoGAN与DualGAN论文似乎并无太大差别，他们的idea其实都是差不多的，模...

DenseNets网络架构与ResNet有点相像，都是把L-1层的输出作为L层的输入，同时DenseNets作为L+1,...,L+n的输入，这也就是dense含义的所在了，下面看一些大致的网络架构，如下图：由上图的网络架构可以明显的看出，DenseNet是把第0,...,L-1层输出的feature maps（第0层表示输入图像）拼接层一个张量（tensor）feature

来源：Windows+VS2013爆详细Caffe编译安装教程1. 安装cuda    Cuda是英伟达推出的GPU加速运算平台    我这里安装的是cuda7.5,已经安装过的忽略,还没有安装过的这里有安装教程.windows下面安装还是非常简单的.    点击打开链接2. 下载cuDNN(其实是个压缩包)    https://develop

来源：Windows下编译caffe最近在windows上重新部署了下caffe，发现微软对提供的caffe做了很多改进，解决了很多编译配置的bug，程序下载caffe依赖包NugetPackages和编译速度也快了很多，现在上手caffe算是零门槛了。在win10 + vs2013 + caffe + cuda8.0 +cudnn v5.1 环境下编译成功。 1.cpu模式

一. 网络结构 经典的BP网络，其具体结构如下：    请特别注意上面这个图的一些符号说明如下：二.  学习算法     1. 信号的前向传递过程                        请特别注意上述公式中的下标，这里，权值矩阵包含了神经元节点本身的偏置，所以权值矩阵多了一列。   2.  

本人的操作系统是Win7 64位的，VS2013旗舰版，Matlab2015b，Python是Miniconda2 64-bit (exe installer)，当然Python anaconda3应该也可以，我没试过，这个是按照Microsoft/caffe主页上的建议安装的，然后是下载Microsoft/caffe，网址如下：https://github.com/Microsoft/caffe

PyTorch官方网址：github ，主页概述：PyTorch 就已经是我们 Python 深度学习框架列表中的一个新的成员了。它是从 Lua 的 Torch 库到 Python 的松散端口，由于它由 Facebook 的 人工智能研究团队（Artificial Intelligence Research team (FAIR)）支持且因为它用于处理动态计算图（Theano，Tensor

深度信念网络，DBN，Deep Belief Nets，神经网络的一种。既可以用于非监督学习，类似于一个自编码机；也可以用于监督学习，作为分类器来使用。从非监督学习来讲，其目的是尽可能地保留原始特征的特点，同时降低特征的维度。从监督学习来讲，其目的在于使得分类错误率尽可能地小。而不论是监督学习还是非监督学习，DBN的本质都是Feature Learning的过程，即如何得到更好的特征表达。

非监督神经网络的wake-sleep算法可以用来Fine tuning DBNs，该算法主要分为两个阶段，即"wake"阶段与"sleep"阶段，其中"wake"阶段用来学习生成权重（generative weights），"sleep"阶段用来学习识别权重（recognition weights）。一. 原理识别权重与生成权重分别对应DBNs的编码（encoder）与解码（decoder

本人在Win7 64位操作系统下，用MatConvNet深度学习框架训练一个网络用于识别鸟类，这个鸟类有20类，网络训练好后，用于识别一下自己在网上爬的一些小鸟图片，识别效果还不错。于是，想在其它数据集上，比如识别狗狗，训练一下看看效果如何。于是本人直接在狗狗数据集上进行end to end训练，在训练的过程中，出现错误：Index exceeds matrix dimensions。一步一步调试

在卷积神经网络ConvNets中，前向传播到最后一层计算网络预测标签（predicted label）与真实标签（Ground Truth）之间的误差，需要定义一个损失函数，如Log loss，Softmax log loss，Multiclass hinge loss，Multiclass structured hinge loss等，本文要讲的就是Softmax log loss损失函数在Co

在卷积神经网络ConvNets中，前向传播到最后一层计算网络预测标签（predicted label）与真实标签（Ground Truth）之间的误差，需要定义一个损失函数，如Log loss，Softmax log loss，Multiclass hinge loss，Multiclass structured hinge loss等，本文要讲的就是Softmax log loss损失函数在Co

function Y = vl_nnsoftmax(X,dzdY)%VL_NNSOFTMAX CNN softmax.% Y = VL_NNSOFTMAX(X) applies the softmax operator the data X. X% has dimension H x W x D x N, packing N arrays of W x H% D-dimensi

关于triplet loss原理及推导，参考来源：triplet loss 原理以及梯度推导【前言】 最近，learning to rank 的思想逐渐被应用到很多领域，比如google用来做人脸识别（faceNet），微软Jingdong Wang 用来做 person-reid 等等。learning to rank中其中重要的一个步骤就是找到一个好的similarity fu

本文对本人前述博文中关于在Windows下编译Caffe的Matlab接口问题，作一些总结，首先看一下本文编译成功的CommonSettings.props文件范例，如下所示： $(SolutionDir)..\Build false false 8.0 <!-- NOTE:

MatConvNet深度学习库的反向传播原理如下图所示：上图是简化版的反向传播原理推导，具体的张量表示法参考相关手册。为了方便对比及具体详尽的原理推导，在手册中，关于反向传播的推导部分截图如下：其中在上图中，重点注意的地方就是式（2.2），它只是关于x的导数。为了引起重视，下面有一个练习：%下面实现一个由一个卷积层和ReLU层构成的两层卷积网络的反向

在Matlab下利用Caffe的Matlab接口MatCaffe，首先需要编译Caffe的Matlab接口，相关教程参见如下：1. 关于Windows下编译Caffe的Matlab接口2. Windows下VS2013编译Caffe完全手册编译配置成功后方可使用Caffe的Matlab接口，具体使用教程如下：Examples below shows deta

本文主要讲解关于 Y = VL_NNCONV(X, F, B)函数中B的格式，如下所示：% Read an example imagex = imread('peppers.png') ;% Convert to single formatx = im2single(x) ;% Visualize the input xfigure(1) ; clf ; imagesc(x) ;

在CNN卷积网络中，从输入前向传播到误差反向传播，如下图所示：其中，在反向传播过程中，还需要把网络的输出经过一个目标函数（Objective function），通常也称为损失函数（Loss function）,把网络的输出映射为一个实数，反向传播就是去优化这个损失函数，具体如下图所示：在上图中，f 表示网络的计算模块，y 为网络输出，g 表示损失函数，网络的输出

针对很多人在学习Theano深度学习库时，遇到无法导入mnist数据库问题，在此给出一种解决方法。具体出现的问题及解决方案如下图所示：成功导入MNIST数据的代码，加入了encoding='bytes'，因为，在Python下，数据均是按字节存储的。