Ein027-优快云博客

原创什么时候可以将神经网络的参数全部初始化为0?

用SGD训练神经网络时, 怎样决定初始化参数的方式? 主要有两个考虑点: 一: 最终是否能得到想要的学习结果, 即是否能得到一个符合预期目标的分类器；二: 训练时间, 好的参数初始化可以有效缩短训练时间, 如预训练.不加思考时, 将所有参数都初始化为0是最省力的做法. 有些情况下可行, 但大部分情况下会导致学习失败, 得不到可用的模型.先看最简单的例子: 用逻辑回归算法识别手写数字MNIST. 逻辑

2017-04-20 00:47:23 4824

原创 RELU

优点1：Krizhevsky et al. 发现使用 ReLU 得到的SGD的收敛速度会比 sigmoid/tanh 快很多(如上图右)。有人说这是因为它是linear，而且梯度不会饱和优点2：相比于 sigmoid/tanh需要计算指数等，计算复杂度高，ReLU 只需要一个阈值就可以得到激活值。缺点1： ReLU在训练的时候很”脆弱”，一不小心有可能导致神经元”坏死”。举个例子：由于ReL

2017-04-19 23:39:23 2624

原创 windows系统问题汇总（持续更新）

最近经常装系统,Ubuntu win7都装过，以下是遇到的坑，此文作为记录。写在前面，纯净window系统请在http://www.itellyou.cn/ MSDN我告诉你，中下载，关于ed2k传输协议，可以使用百度云网页版离线下载搭配IDM下载即可。安装win7后，所有usb设备无法使用 UEFU的Bios,开机后按DEL进入Bios，在“集成外设”中，将“支持传统USB规格设备”设置为

2017-04-10 14:35:12 431

原创反向传播算法

这篇博文尚未完成，暂时只做记录用，只有我自己看的懂，有时间继续完善Logistic分类（二，多）都涉及到求解参数，他们用的方法是损失函数对参数求导，并使用梯度下降求取损失函数最小值对应的参数，这种是误差**正向传播**，参数的求解还是用损失函数对参数求导，但是在神经网络中，如此多的节点求导带来巨大的计算冗余，于是产生了反向传递的方法。首先对第 k 层第 j 个神经元关注这样一个值。定义： (

2017-03-14 17:37:59 640

转载水平集（CV模型）

实际上，各种水平集方法的区别只是在于如何构建能量函数E(C)。当构建好能量泛函E(C)之后，通过水平集的思想，将曲线C用水平集函数Φ代替，再通过求解能量泛函对应的Euler-Lagrange方程获得水平集的演化方程。其实就是构造了能量泛函，使其最小，轮廓内的灰度方差和轮廓外的灰度方差之和，在轮廓上时，是最小的，其次，加入轮廓周长项，使其轮廓收敛为最小。这里，通过讲解Chan-Vese

2017-03-02 16:13:33 24360 3

原创 C++，C 编译问题汇总（持续更新）

expected an expression 意思：”预定义一个表达式” 原因：在define block 16 后加上了分号“；” 解决：在所宏定义的语句后去掉分后“；”

2017-02-23 15:16:29 690

原创 cuda 矩阵乘法函数之cublasSgemm

在使用CUDA的cuBLAS库中矩阵乘法函数cublasSgemm时，注意到cuda其中的二维矩阵的储存是“**按列储存**”，一天都处于蒙蔽状态，查了很多资料，按所得结果情况，总结出如下几条。一、获得按行存储的结果由博文：http://blog.youkuaiyun.com/xfortius/article/details/9225799收到启发：比如，我们想求C=A*B这个矩阵运算，其中A={{1,1},

2017-02-22 22:05:23 5120

转载 cublas的配置方法

cublas是一个非常好用的cuda库，里面集成了相当多的和GPU相合(tuned)的库函数，相当好用，但如果不会配置还真的是挺头疼的，我在网上找的很多文章都有cublas的配置方法，但是对于我的平台来说都不是非常靠谱，现在我说说我遇到的问题和解决方法：　　我的问题和很多人问的都一样，就是各种无法解析的外部符号，出现这种问题其实就是库没有链接到，网上有很多答案都提到了，但是最关键的问题是，如果

2017-02-22 00:41:35 4825

原创在cuda中使用二维数组（地址赋值）（不带对齐）

总有些童鞋想知道怎么在CUDA中使用二维数组（[M][N]这种类型），其实这个很简单，不过你要完全弄明白，必须对指针，地址等概念非常清楚才行。写这篇博客解决下大家这个问题：1、首先讲述一下在一般C语言中如何使用二维数组。[cpp] view plain copy print?int r, c; int **arr = (int**)malloc(ROWS*sizeof(int*)); int

2017-02-22 00:11:09 1736

原创 CUDA 核函数调用核函数

这几天需要用到kernel函数包含kernel函数的例子，于是出现了几种问题：一、error : calling a global function(“childKernel”) from a global function(“kernel”) is only allowed on the compute_35 architecture or above原因及解决方法：这是因为默认计算能力被设定

2017-02-21 22:32:18 10153

转载 matlab中使用CUDA kernel GPU加速

本帖最后由蓝云风翼于 2013-6-8 14:13 编辑截至MATLAB2013a 里面已经有不少工具箱里面都有了支持GPU加速的函数。使用matlab+GPU加速的前提是机器必须安装了支持CUDA的显卡，且GPU 计算能力在1.3以上。支持的GPU 可通过gpuDevice 查看GPU是否支持支持GPU加速的函数可通过methods(‘gpuArray’)查看例如fft，ifft，三角函

2017-02-19 21:21:43 8197

原创 parfor 中sliced array的一些限制

Use Nested Functions and Variables in parfor-LoopsNested FunctionsThe body of a parfor-loop cannot make referenceto a nestedfunction. However, it can call a nested function by meansof a function han

2017-02-18 12:13:08 1118

转载 GPU内存操作

CUDA的线程是多维的，启动一个线程格，线程格可以是多维的，线程格中分为线程块，线程块也可以是多维的，线程块中包含线程，对于GPU来说，同时启动200万个线程是很轻易的事情。blockIdx :当前执行设备代码的线程块的索引dim3 grid(DIM,DIM):声明一个二维的线程格，名字为grid;kernel<<<grid,1>>(dev_t):线程块为一个二维线程块，每个线程块有一个线程grid

2017-02-14 13:49:14 3231

转载 SURF特征提取

背景引言计算机视觉中，引入尺度不变的特征，主要的思想是每个检测到的特征点都伴随着对应的尺寸因子。当我们想匹配不同图像时，经常会遇到图像尺度不同的问题，不同图像中特征点的距离变得不同，物体变成不同的尺寸，如果我们通过修正特征点的大小，就会造成强度不匹配。为了解决这个问题，提出一个尺度不变的SURF特征检测，在计算特征点的时候把尺度因素加入之中。SURF与SIFT算法相似，SIFT算法比较稳定，检测特征

2017-02-09 17:06:45 4116

转载如何计算图像的曲率

作者：龚元浩链接：https://zhuanlan.zhihu.com/p/23132541来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。一般的数字图像都是一个二维离散函数，图像处理的任务通常是想得到一个新的图像。这个满足特定的性质，比方说去模糊、去雾、超分辨率、去噪、分割等等。以去模糊为例，得到的图像要比原始图像清晰。这个过程我们通常要建立一个

2017-02-09 16:48:04 13835

原创主曲率

在研究SIFT中，有提到根据主曲率来筛选点。一、曲率基本概念曲率是用来反映几何体的弯曲程度。二、三维欧氏空间中的曲线和曲面的曲率平均曲率、主曲率和高斯曲率是曲率的三个基本要素。平均曲率：是空间上曲面上某一点任意两个相互垂直的正交曲率的平均值。如果一组相互垂直的正交曲率可表

2017-02-09 16:35:34 9075

转载 SIFT算法提取特征点

本篇用于补充书上所学内容，特别是后面的匹配内容，书上没讲到，且贴有代码参考文献等链接，故转载。原文：http://blog.youkuaiyun.com/abcjennifer/article/details/7639681/ SIFT（Scale-invariant feature transform）是一种检测局部特征的算法，该算法通过求一幅图中的特征点（interest points,or co

2017-02-08 10:06:14 7781

转载卷积和相关

在执行线性空间滤波时，经常会遇到两个概念相关和卷积二者基本相似，在进行图像匹配是一个非常重要的方法。相关是滤波器模板移过图像并计算计算每个位置乘积之和的处理卷积的机理相似，但滤波器首先要旋转180度相关的计算步骤：（1）移动相关核的中心元素，使它位于输入图像待处理像素的正上方（2）将输入图像的像素值作为权重，乘以相关核（3）将上面各步得到的结果相加做为输出卷积的计算步骤：（1）卷积

2017-01-25 18:09:00 1271

转载 Halcon数据类型讲解

halcon基础教程第二讲 halcon中的数据类型 - 腾讯视频 !function(){function a(a){a=a||window.location.toString();var d,b=c("vid",a);return b||(d=a.match(/\/\w{15}\/(\w+)\.html/))&&(b=d[1]),b||((d=a.match(/\/page\/\w{

2017-01-18 22:11:07 643

转载图像共生矩阵

Gray-level co-occurrence matrix from an image图像的灰度共生矩阵灰度共生矩阵是像素距离和角度的矩阵函数，它通过计算图像中一定距离和一定方向的两点灰度之间的相关性，来反映图像在方向、间隔、变化幅度及快慢上的综合信息。使用方法：glcm = graycomatrix(I)glcms = graycomatrix(I,param1,val1,param2,

2017-01-18 11:14:47 1059

u011460059的博客