diezhengnian3148-优快云博客

转载杂： PYTHON上数据储存：推荐h5py

一篇很短的小短文，主要推荐下做科学计算是大量数据的储存问题最近在做一个CNN的项目，文件夹里有20w张图片要读入并保存到一个data文件（不然每次都读20w文件太麻烦）。折腾了一个下午，发现了一个极好用的包 h5py：将数据储存在hdf5文件中。这东西有多好用呢？速度，内存占用，压缩程度都比cPickle+gzip来的优秀。相比之下上面两个变逗比了……我...

2014-04-17 19:01:00 493

转载 Ubuntu 下安装 hadoop（转+修改）

出于需要在电脑上安装hadoop，版本：hadoop 1.2.1 (stable)按照网上教程安装成功，把一点需要修改的地方说说。参考博客：ubuntu12.04 hadoop单机模式和伪分布模式搭建（基本全程按照这个就行）两个需要注意的地方：1、以后要下载什么东西，请在百度上搜索”名字+百度网盘“。别傻傻的去主页下，慢。2、hadoop从0.20.2版本升级...

2014-03-11 23:40:00 126

转载转：Numpy教程

因为用到theano写函数的时候饱受数据结构困扰于是上网找了一篇numpy教程（theano的数据类型是基于numpy的）原文排版更好，阅读体验更佳：http://phddreamer.blog.163.com/blog/static/18993409620135271852137/先决条件在阅读这个教程之前，你多少需要知道点python。如果你想重新回忆下...

2013-12-14 09:07:00 163

转载 Deep Learning 阅读笔记：Convolutional Auto-Encoders 卷积神经网络的自编码表达

需要搭建一个比较复杂的CNN网络，希望通过预训练来提高CNN的表现。上网找了一下，关于CAE（Convolutional Auto-Encoders）的文章还真是少，勉强只能找到一篇瑞士的文章、 Stacked Convolutional Auto-Encoders forHierarchical Feature Extraction干货少，不过好歹有对模型的描述，...

2013-12-04 22:08:00 1084

转载基于3D卷积神经网络的行为识别：3D Convolutional Neural Networks for Human Action Recognition...

简介：这是一片发表在TPAMI上的文章，可以看见作者有余凯（是百度的那个余凯吗？）本文提出了一种3D神经网络：通过在神经网络的输入中增加时间这个维度（连续帧），赋予神经网络行为识别的功能。相应提出了一种3D卷积，对三幅连续帧用一个3D卷积核进行卷积（可以理解为用三个二维卷积核卷积三张图）。3D神经网络结构图：input—>H1...

2013-11-29 19:14:00 1791

转载转：Ubuntu下下载工具安装--uget+aria2

原文地址：http://burner1024.blog.163.com/blog/static/17447800420126191858424/Windows下的下载工具--迅雷，之所以下载速度快，乃是它能搜索资源、为己所用，而不是仅仅从原始地址这单一资源处下载。Ubuntu下也有类似的工具，那就是aira2。aira2是一个命令行下载工具，可以配合其他图形界面的下载软件使用。我用的...

2013-11-28 23:54:00 557

转载用Theano学习Deep Learning（三）：卷积神经网络

写在前面的废话：出了托福成绩啦，本人战战兢兢考了个97！成绩好的出乎意料！喜大普奔！撒花庆祝！傻…………寒假还要怒学一个月刷100庆祝个毛线…………正题：题目是CNN，但是CNN的具体原理和之后会写一篇博客在deeplearning目录下详细说明。简单地说，CNN与NN相比独特之处在于用部分连接代替全链接，并用pooling来对数据进行降维，这样做有几个好处...

2013-11-28 23:49:00 193

转载转：Ubuntu下用Sublime输入中文

最近用上ubuntu跑theano，碰到的一个问题就是用sublime编辑代码的时候无法输入中文。读代码经常要写注释不能用中文是在是麻烦。曾经考虑过使用别的文本编辑器，但是sublime的用户界面是在是舒服又好用。上网找了个方法放在这里，实测可用。转自知乎：http://www.zhihu.com/question/20163104先安装能在sublime t...

2013-11-28 22:02:00 98

转载 ubuntu安装Theano+cuda

由于学习需要用到GPU加速机器学习算法，需要安装theano+cuda。开源库的一大问题就是：难安装。为了搞好这个配置，我是前前后后花了3天，重装了3次ubuntu重装了5次驱动才搞定。故发此贴，给出最简单安装方法（如果我还记得的话）。因为ubuntu下各种软件依赖关系太多，最好全新ubuntu安装theano和cuda，然后在更新最好是这么做，再多一步都可能搞错……...

2013-11-23 00:15:00 101

转载 Deep Learning 学习笔记（9）：主成分分析( PCA )与白化( whitening )

废话：这博客有三个月没更新了。三个月！！！尼玛我真是够懒了！！这三个月我复习什么去了呢？托福…………也不是说我复习紧张到完全没时间更新，事实上我甚至有时间打LOL。只是说，我一次就只能（只想？）做一件事情。对我来说，在两种不同思维之间转换是十分耗费能量的。说白了我！就！是！个！废！柴！……哼……前言：PCA与白化，就是对输入数据进行预处...

2013-11-17 23:31:00 320

转载 Deep Learning 学习笔记（8）：自编码器( Autoencoders )

之前的笔记，算不上是 Deep Learning，只是为理解Deep Learning 而需要学习的基础知识，从下面开始，我会把我学习UFDL的笔记写出来#主要是给自己用的，所以其他人不一定看得懂#UFDL链接：http://deeplearning.stanford.edu/wiki/index.php/UFLDL_Tutorial自编码器（ Autoen...

2013-09-15 10:57:00 214

转载 Deep Learning 学习笔记（7）：神经网络的求解与反向传播算法（Back Propagation）...

反向传播算法（Back Propagation）：引言：在逻辑回归中，我们使用梯度下降法求参数方程的最优解。这种方法在神经网络中并不能直接使用，因为神经网络有多层参数（最少两层），（？为何不能）这就要求对梯度下降法做少许改进。实现过程：一、正向传播首先，同逻辑回归，我们求出神经网络输出与实际值的“误差”——COST：...

2013-09-15 09:25:00 243

转载 Deep Learning 学习笔记（6）：神经网络( Neural Network )

神经元：在神经网络的模型中，神经元可以表示如下神经元的左边是其输入，包括变量x1、x2、x3与常数项1，右边是神经元的输出神经元的输出函数被称为激活函数（activation function），输出值被称为激活值（activation value）。激活函数有很多种，其中最简单的莫过于sigmoid函数。除非特别声明，否则博客里提及的激活函数均为sig...

2013-09-09 19:46:00 196

转载 Deep Learning 学习笔记（5）：Regularization 规则化

过拟合（overfitting）：实际操作过程中，无论是线性回归还是逻辑回归，其假设函数h(x)都是人为设定的（尽管可以通过实验选择最优）。这样子就可能出线“欠拟合”或者“过拟合”现象。所谓过拟合，就是模型复杂度过高，模型很好地拟合了训练样本却对未知样本的预测能力不足。（亦称"泛化"能力不足）所谓欠拟合，就是模型复杂度过低，模型不能很好拟合不管是训练样本还是其他样本。...

2013-09-08 21:07:00 124

转载 Deep Learning 学习笔记（4）：Logistic Regression 逻辑回归

逻辑回归主要用于解决分类问题，在现实中有更多的运用，正常邮件or垃圾邮件车or行人涨价or不涨价用我们EE的例子就是：高电平or低电平同时逻辑回归也是后面神经网络到深度学习的基础。（原来编辑器就有分割线的功能啊……）一、Logistic Function（逻辑方程）同线性回归，我们会有一个Hypothesis Function对输入数据...

2013-09-08 16:08:00 182

转载 Deep Learning 学习笔记（3）：Linear Regression 数据的预处理

为了获得良好的收敛，在进行梯度下降前，我们可以对数据进行预处理。目标是使得数据大小在同一个数据数量级上，均值为零。一般将数据放缩到（-1，1）区间，我们可以对数据进行如下操作：其中u1是数据的均值，s1为数据绝对值的最大值。用处理后的数据进行梯度下降可以获得更好效果。转载于:https://www.cnblogs.com/Ponys/p/33...

2013-09-08 13:21:00 178

转载 Deep Learning 学习笔记（2）：多参数的线性回归

上次用简单地介绍了线性回归的模型和梯度下降获得参数方程的方法。用到的一个十分简单的参数方程h(x)=theta0+theta1*x在现实问题中，参数方程能要复杂许多，不只有一个未知量x，可能有多个未知量x、y，不只有一次项，更有多次项，因此，梯度下降的过程变化为：（注意偏导的计算公式）转载于:https://www...

2013-09-08 13:06:00 248

转载 Deep Learning 学习笔记（1）：线性回归( Linear Regression )

关于DL，由于我是零经验入门，事实上我是从最简单的ML开始学起，所以这个系列我也从ML开始讲起。===============并行分割线=================一、线性回归线性回归主要运用于“预测”类问题：假设我们有一堆的数据（房间大小，房价）。给定一个没见过的房间大小，它的价格应该怎么估计呢？一般来说，我们可以假定房价h...

2013-09-08 11:04:00 154

转载 Matlab 霍夫变换 ( Hough Transform）直线检测

PS：好久没更新，因为期末到了，拼命复习中。复习久了觉得枯燥，玩玩儿霍夫变换直线检测霍夫变换的基本原理不难，即便是初中生也很容易理解（至少在直线检测上是这样子的）。霍夫变换直线检测的基本原理：（不配图了，自己在白纸上画画，理解更深刻）一步一步来：1、在白纸上画出一个直角坐标系，任意给出一个点；2、那么，对于点（x0,y0）,经过这个点的直线必定满足y...

2013-06-20 18:47:00 1224

转载对比度限制直方图均衡化CLHE

其实实现了半个月了，不过一直没更新，囧。上次讲到对比度限制的直方图均衡化，纠结了一段时间。不知道为什么思维总是会想到改变图像的像素值，其实CLHE的目的是获取一个不那么陡峭的转换的映射函数，所以操作只要在直方图层面完成就行了。确定阀值，切割直方图，将大于阀值的面积平均分到各个bins（之前就在纠结这里……），得到一个CL的直方图之后再求映射函数，并不用对原图进行操作。代码...

2013-05-30 23:59:00 369

转载自适应直方图均衡化 AHE

　　直方图均衡化之后，第二个实验是自适应直方图均衡化。　　由于图片明暗分布的问题，对一张图片进行全局的直方图均衡化可能导致明部或者暗部的细节丢失。为了优化均衡化效果，我们对可以对不同区域进行直方图均衡化以获得更加合适的效果。　　要实现区域直方图均衡化有两种方法：　　　　1、将图片均分成几片区域各自进行直方图均衡化；　　　　2、对于一个特定像素，去其领域构建S(r)映...

2013-05-11 20:47:00 1517

转载直方图均衡化

今天学习了下直方图均衡化的原理。先来看看维基百科上的一个例子：　　从这张未经处理的灰度图可以看出，其灰度集中在非常小的一个范围内。这就导致了图片的强弱对比不强烈。直方图均衡化的目的，就是使得灰度分布尽可能平均地“填满”整个灰度空间（0~255），就是做到直方图的上界是一条平行于X轴的直线（理想化）。　　有了这个目标之后，开始推导。　　因为不懂得怎么在博客中...

2013-04-30 12:51:00 142

转载困扰我4天的问题：三通道的camshift调试不过

　　#第一篇日志啊~#　　最近要弄一个跟踪视频中车辆的算法。虽说是弄算法，但是opencv里面封装好了camshift，基本上拿出来用就行了。　　网络上流传的比较广的camshiftdemo，大多使用hsv通道的h通道来进行跟踪。但是路上的车辆黑白颜色居多，路面大致也是深色的，只用h通道跟踪的效果不理想。因此希望通过统计hsv三个通道的值来进行跟踪，这样的话无论遇上黑色车白色车还...

2013-04-26 17:48:00 172

diezhengnian3148的博客