2017年03月_老司机的诗和远方

转载交叉熵的解决代价函数为二次函数导致学习慢问题（S型激活函数）

1.从方差代价函数说起代价函数经常用方差代价函数（即采用均方误差MSE），比如对于一个神经元（单输入单输出，sigmoid函数）,定义其代价函数为：其中y是我们期望的输出，a为神经元的实际输出【 a=σ(z), where z=wx+b 】。在训练神经网络过程中，我们通过梯度下降算法来更新w和b，因此需要计算代价函数对w和b的导数：然后更新w、b：w b 因为

2017-03-31 23:42:57 2402

原创概率图秒杀hmm和贝叶斯网络

概率图概率图模型是图灵奖获得者Pearl开发出来的用图来表示变量概率依赖关系的理论。概率图模型理论分为概率图模型表示理论，概率图模型推理理论和概率图模型学习理论。概率图主要用于快速的计算带有关系的变量图关系。变量要是之间没关系，即独立，那么他们的联合概率就他们的各自相乘！基本的概率图模型包括贝叶斯网络、马尔可夫网络和隐马尔可夫网络。写他们的联合概率就是看每一个节点是

2017-03-31 22:37:01 2992

转载模式识别、机器学习、数据挖掘当中的各种距离总结

模式识别、机器学习、数据挖掘当中的各种距离总结http://blog.youkuaiyun.com/baihuaxiu123/article/details/68922172在做分类时常常需要估算不同样本之间的相似性度量(SimilarityMeasurement)，这时通常采用的方法就是计算样本间的“距离”(Distance)。采用什么样的方法计算距离是很讲究，甚至关系到分类的正确与否。

2017-03-31 15:07:53 931

原创信息熵及其数学模型

信息量的度量：一般情况，我们用概率的倒数的对数函数来表示某一个事件（某一个符号）出现所带来的信息量。每个符号的自信息量： I(ai) = log(1/p)，单位是bit为什么选择log模型，这个就不知道了，但是只要有这样的数学模型满足H(x)= -p*log(p)的在两头都取得最小值就可以。信息熵：每个信息量的数学期望H(x)= E(log(1/p))，就是其概率对应的

2017-03-30 17:58:23 12894

原创 C++容器以及迭代器

【转载】http://blog.youkuaiyun.com/acosoft/article/details/4395468在面向对象的语言中，大多引入了容器的概念。那么什么是容器？实质上就是一组相同类型对象的集合，但是它又不仅仅像数组那样简单，它实现了比数组更复杂的数据结构，当然也实现了比数组更强大的功能。C++ 标准模板库里提供了10 种通用的容器类，它基本上可以解决程序中遇到的大多数问题。

2017-03-30 16:47:14 705

原创隐含马尔科夫

在讲隐含马尔科夫之前先介绍下马尔科夫过程：马尔科夫过程马尔科夫过程可以看做是一个自动机，以一定的概率在各个状态之间跳转。考虑一个系统，在每个时刻都可能处于N个状态中的一个，N个状态集合是 {S1,S2,S3,...SN}。我们现在用q1,q2,q3,…qn来表示系统在t=1,2,3,…n时刻下的状态。在t=1时，系统所在的状态q取决于一个初始概率分布PI，PI(SN

2017-03-30 15:59:09 1163

原创遗传算法GA算法思路及其C++实现

1、遗传算法求函数最优解题目要求： f(x1,x2) = 21.5+x1*sin(4pi*x1)+x2*sin(20pi*x2)st：约束范围 x1:[-3.0,12.1] x2:[4.1,5.8] 求函数在约束范围内的最大值2、算法流程图： 3、Genetic.h文件#ifndef _GENETIC_H_#define _GENETIC_H_using namesp

2017-03-29 16:03:09 15466 9

原创 C++随机产生任意类型某个区间范围的随机数

C++产生任意类型的随机数，利用的是C++的模板函数。代码实现如下：#include using namespace std;templateT randT(T Lower, T Upper){T temp;if (Lower > Upper){temp = Upper;Upper = Lower;Lower = temp;}re

2017-03-28 23:59:58 4592

原创 Hopfield神经网络

1、前向型前馈NN，是一种静态神经网络，具有较强的学习能力，结构简单易于编程。从系统的角度上看，属于静态的非线性映射，通过简单的非线性处理单元的复合映射可获得复杂的非线性处理能力，但没有反馈能力，并不是强有力的动力学系统。这样的神经网络有BP、RBF2、Hopfield神经网络是反馈型的，具有联想记忆能力。联想记忆：网络输入某个矢量后，经过反馈演化，从网络输出端得到另外一个矢量，这

2017-03-27 22:35:18 1974

转载 Gabor变换

1.傅里叶变换1) 简介数字图像处理的方法主要分成两大部分：空域分析法和频域分析法。空域分析法就是对图像矩阵进行处理；频域分析法是通过图像变换将图像从空域变换到频域，从另外一个角度来分析图像的特征并进行处理。频域分析法在图像增强、图像复原、图像编码压缩及特征编码压缩方面有着广泛应用。如果一个信号f(t)在上满足：① f(t)在任一有限区间上满足狄氏条件；②

2017-03-27 17:12:01 5602 1

原创两种模型训练方式思考比较

关于神经网络两种模型训练方式思考：1、第一种是一个样本的训练方式：每次只输入一个样本，计算出均方误差，之后进行一次全局权值调整。然后依次的训练其他的样本，直到所有的样本都满足最后的模型，模型收敛！这种方法的缺点就是收敛太慢，但好处就是可以严格控制每个样本的误差量。2、样本的批训练方式（常用）：将所有的样本依次输入网络，计算出各个样本的均方误差，然后累加所有的误差，进行一

2017-03-26 21:23:47 1280

转载 error LNK2019: 无法解析的外部符号 _WinMain@16，该符号在函数 ___tmainCR...

转载：http://blog.youkuaiyun.com/playstudy/article/details/6661868一，问题描述MSVCRTD.lib(crtexew.obj) : error LNK2019: 无法解析的外部符号 _WinMain@16，该符号在函数 ___tmainCRTStartup 中被引用Debug\jk.exe : fatal error LNK1120:

2017-03-26 15:49:08 1579

转载 RBF径像神经网络

RBF网络能够逼近任意的非线性函数，可以处理系统内的难以解析的规律性，具有良好的泛化能力，并有很快的学习收敛速度，已成功应用于非线性函数逼近、时间序列分析、数据分类、模式识别、信息处理、图像处理、系统建模、控制和故障诊断等。简单说明一下为什么RBF网络学习收敛得比较快。当网络的一个或多个可调参数（权值或阈值）对任何一个输出都有影响时，这样的网络称为全局逼近网络。由于对于每次输入，网络上的每

2017-03-26 11:30:12 1056

原创矩估计和最大似然估计关系

1、矩估计理论根源是辛钦大数定律，样本之间是独立同分布，当数据样本量很大的时候，样本观测值的平均值和总体的数学期望是在一个极小的误差范围内。矩估计法, 也称“矩法估计”，就是利用样本矩来估计总体中相应的参数。首先推导涉及感兴趣的参数的总体矩（即所考虑的随机变量的幂的期望值）的方程。然后取出一个样本并从这个样本估计总体矩。接着使用样本矩取代（未知的）总体矩，解出感兴趣的参数。从而

2017-03-22 11:57:12 24849

原创逻辑回归的思考

1、前言——最大似然函数在已知试验结果（即是样本）的情况下，用来估计满足这些样本分布的参数，把可能性最大的那个参数作为真实的参数估计。需要知道样本和样本服从的分布，但不知道分布的参数，同时最大似然估计的前提条件就是要求样本之间是相互独立的。最大似然估计的思想：估计的最合理的参数应该是已经发生的这组样本同时发生的概率是最大，因此最大似然法就是先建立似然函数（样本发生概率的连乘式），然后求

2017-03-21 21:47:13 2772

原创感知机和SVM的区别

感知机和SVM的区别：1、相同点都是属于监督学习的一种分类器（决策函数）。2、不同点感知机追求最大程度正确划分，最小化错误，效果类似紫线，很容易造成过拟合。支持向量机追求大致正确分类的同时，一定程度上避免过拟合，效果类似下图中的黑线。感知机使用的学习策略是梯度下降法，而SVM采用的是由约束条件构造拉格朗日函数，然后求偏导令其为0求得极值点。

2017-03-19 22:47:55 12273 1

转载监督学习：生成模型和判别模型

生成模型与判别模型http://blog.youkuaiyun.com/zouxy09 一直在看论文的过程中遇到这个问题，折腾了不少时间，然后是下面的一点理解，不知道正确否。若有错误，还望各位前辈不吝指正，以免小弟一错再错。在此谢过。一、决策函数Y=f(X)或者条件概率分布P(Y|X) 监督学习的任务就是从数据中学习一个模型（也叫分类器），应用这一模型，对给定的输

2017-03-19 21:52:47 2504

原创高斯混合模型和EM

一、高斯混合模型1、高斯混合模型概念高斯混合模型就是用高斯概率密度函数（正态分布曲线）精确地量化事物，它是一个将事物分解为若干的基于高斯概率密度函数（正态分布曲线）形成的模型。一个模型转换为由多个高斯概率密度函数组合而成的。2、图像背景建立高斯模型的原理及过程图像灰度直方图反映的是图像中某个灰度值出现的频次，也可以以为是图像灰度概率密度的估计。如果图像所包含的目标区

2017-03-19 21:33:01 3193

转载 AdaBoost自适应分类器

装载：http://blog.youkuaiyun.com/dark_scope/article/details/14103983一.引入对于Adaboost，可以说是久闻大名，据说在Deep Learning出来之前，SVM和Adaboost是效果最好的两个算法，而Adaboost是提升树(boosting tree)，所谓“提升树”就是把“弱学习算法”提升(boost)为“强学

2017-03-19 17:40:48 2446 1

转载 opencv自带的训练器

装载：http://blog.youkuaiyun.com/wuxiaoyao12/article/details/39227189一、基础知识准备首先，opencv目前仅支持三种特征的训练检测， HAAR、LBP、HOG，选择哪个特征就去补充哪个吧。opencv的这个训练算法是基于adaboost而来的，所以需要先对adaboost进行基础知识补充啊，网上一大堆资料，同志们速度去查阅。我的资

2017-03-19 17:00:36 4063

原创直方图均衡化背后的数学

直方图均衡化1、背景由于图像的直方图统计信息结果其对比度比较窄，大部分的像素都集中在某一个区域内，因而造成图像过亮或者是过暗。而对于一部比较好的图像，其对比度是比较高的，也就是图像的像素的灰度会分布比较均匀。因此要想改善上述图像问题就必须想办法将这些像素进行重新均匀分布。这很容易让人想到数学上的分布函数。涉及概率论的知识。2、均衡化过程当然我们均衡化过程是不能改变其

2017-03-19 12:04:11 2415

原创小波变换

背景：傅立叶变换是信号处理领域应用最广泛、效果最好的一种分析手段。傅立叶变换是时域到频域互相转化的工具，从物理意义上讲，傅立叶变换的实质是把这个波形分解成不同频率的正弦波的叠加和。正是傅立叶变换的这种重要的物理意义，决定了傅立叶变换在信号分析和信号处理中的独特地位。傅立叶变换用在两个方向上都无限伸展的正弦曲线波作为正交基函数，把周期函数展成傅立叶级数，把非周期函数展成傅立叶积分，利用傅

2017-03-18 23:04:33 1001

转载计算机视觉领域期刊

模式识别，计算机视觉领域，期刊http://blog.youkuaiyun.com/carson2005/article/details/6292748 (1)pattern recognition letters, 从投稿到发表，一年半时间(2)Pattern recognition 不好中，时间长(3)IEICE Transactions on Information and Sy

2017-03-18 17:14:27 710

转载优秀博客

C/C++基础知识总结 http://www.cnblogs.com/ggjucheng/archive/2012/08/18/2645319.htmllinux/unix 学习 http://www.cnblogs.com/ggjucheng/archive/2012/08/18/2645321.html

2017-03-18 11:35:55 376

原创 HOG算法思路和应用

梯度直方图特征(HOG) 是一种对图像局部重叠区域的密集型描述符, 它通过计算局部区域的梯度方向直方图来构成特征。Hog特征结合SVM分类器已经被广泛应用于图像识别中，尤其在行人检测中获得了极大的成功。需要提醒的是，HOG+SVM进行行人检测的方法是法国研究人员Dalal在2005的CVPR上提出的，而如今虽然有很多行人检测算法不断提出，但基本都是以HOG+SVM的思路为主。 H

2017-03-18 11:19:08 1032

原创关于DNS、子网掩码、默认网关

DNS（Domain Name System）：域名解析或者是域名系统目前绝大多数的上网ip都是局域网ip。举个简单的例子，在校园里面，可能有几台对外的大型服务器，拥有公网ip；而同学们使用的ip地址是私有ip，为局域网。那么同学们访问外网，如百度时候，就要通过连接外网的服务器，所以一般会将DNS设为服务器的ip地址。DNS就是网络提供商的解析服务器IP地址，去问问电信即可得到他们服务器的IP

2017-03-18 10:50:55 1477

原创 “\”与“/”斜杠与反斜杠的区别

要谈到斜杠与反斜杠的区别;就得先从源头说起: UNIX 操作系统设计了这种路径分隔法，它使用反斜杠：/。由于网络是首先应用在 UNIX 计算机之间的，至今为止，一半以上的网络服务器仍是使用UNIX 操作系统的，所以网址也沿用了反斜杠作路径分隔符。微软在开发 DOS 2.0 的时候，借鉴UNIX 中了这种目录结构，但由于 DOS 中，斜杠已经用来作为命令行参数的标志了（UNIX 中用的是“ - ”

2017-03-16 23:23:42 4489

原创图像一阶导数和二阶导

在图像中，边缘可以看做是位于一阶导数较大的像素处，因此，我们可以求图像的一阶导数来确定图像的边缘，像sobel算子等一系列算子都是基于这个思想的。如下图a表示函数在边沿的时候关系，求导得b图，可知边沿可就是函数的极值点，对应二阶导数为0处，如图c的二阶导图。 (a)

2017-03-16 22:13:20 25533

原创尺度空间&多分辨率

今天主要介绍这两个概念的区别和一些应用！1、尺度空间在尺度空间中，尺度越大图像就越模糊（在有限的空间上要表达好物体，那么物体越大越模糊），尺度空间中各尺度图像的模糊程度逐渐变大，能够模拟目标由远及近人对目标的感知过程。那为什么要讨论尺度空间呢？因为在用机器视觉系统分析未知场景时，机器并不知道图像中物体的尺度，只有通过对图像的多尺度描述，才能获得对物体感知的最佳尺度。如果在不

2017-03-16 15:33:52 7397

原创可加速的高斯滤波技术

原理来源：由于高斯函数可以写成可分离的形式，因此可以采用可分离滤波器来实现加速。可分离滤波器，就是可以把一个多维的卷积转化成多个一维的卷积。具体到二维的高斯滤波，就是指先对行做一维卷积，再对列做一维卷积。这样就可以将计算复杂度从O(M*M*N*N)降到O(2*M*M*N)（行和列加起来），其减少的原因是卷积核由二维变为一维乘法的次数减少了。M、N分别是图像和滤波器的窗口大小。

2017-03-16 15:18:17 1652

原创图像金字塔

1、从opencv函数的金字塔函数和尺度缩放函数说起Opencv里面金字塔和resize函数都是有关图像分辨率的问题。我们经常会将某种尺寸的图像转换为其他尺寸的图像，如果放大或者缩小图片的尺寸，笼统来说的话，可以使用OpenCV为我们提供的如下两种方式：1> resize函数。这是最直接的方式，2> pyrUp( )、pyrDown( )函数。即图像金字塔相关的两个函数，对图像进行

2017-03-16 12:10:21 22903

转载图像滤波空间域与频域

一篇写的不错的博文http://blog.youkuaiyun.com/lu597203933/article/details/17252285图像滤波：滤波是信号处理机图像处理中的一个基本操作。滤波去除图像中的噪声，提取感兴趣的特征，允许图像重采样（图像进行一系列的几何变换输出新的图像）。图像中的频域和空域：空间域指用图像的灰度值来描述一幅图像；而频域指用图像灰度值的变化来描述一幅图像。而低

2017-03-16 10:12:08 5669

原创非极大值算法

1、算法思想：非极大值抑制（Non-maximum suppression，NMS），顾名思义就是把非极大值过滤掉（抑制）。本质是搜索局部极大值，抑制非极大值元素。主要是为了更精确的定位某种特征，比如用梯度变化表征边缘时，梯度变化较大的区域通常比较宽，所以利用x和y方向的梯度确定一个法向arctan(y/x)，然后在法向上判断当前梯度测量是否是一个峰值（或局部极大值），如果是就保留，不是极大值

2017-03-16 09:43:36 872

一、角点认识角点是目标轮廓上曲率（曲率是描述曲线弯曲程度或者偏离直线的程度）的局部极大值点，是物体轮廓的决定性特征。角点没有明确的数学模型，但人们普遍认为角点是二维图像亮度变化剧烈的点或图像边沿曲线的极大值点，这些点保留着图像图形的重要特征同时可以有效的减少信息的数据量，提高信息含量，加快计算速度，有利于图像可靠性匹配，使得实时处理成为可能。角点还具有旋转不变性，利用角点特征进行匹配可以大大提高匹

2017-03-15 23:26:05 5215

转载计算机类期刊

1、【杂志名称】计算机应用研究【杂志文章包含专业】建模，仿真，网络，人工智能，比较杂。【投稿联系方式】http://www.arocmag.com/ 注册在线投稿审稿【投稿费用】250元/页【杂志级别】国家一级期刊，全国中文核心期刊【稿酬回报】无【投稿感受】增刊录用率始终保持在100%，想上增刊，交钱就行（250元/页），正刊录用与否与文章质量关系不太密切，有

2017-03-15 22:13:03 2407 1

原创 LOG高斯-拉普拉斯算子

LOG算子：是高斯和拉普拉斯的双结合，即集平滑和边沿于一身的算子模型！注意这个模型跟前面的一个滤波器很相似，就是各向异性滤波器！1、拉普拉斯算子的出发点在图像中，边缘可以看做是位于一阶导数较大的像素处，因此，我们可以求图像的一阶导数来确定图像的边缘，像sobel算子等一系列算子都是基于这个思想的。如下图a表示函数在边沿的时候关系，求导得b图，可知边沿可就是函数的极值点，对应二阶导数为0处，

2017-03-15 20:55:17 35613 2

转载直方图均衡化及其代码实现

装载： http://blog.youkuaiyun.com/xiajun07061225/article/details/6910129直方图均衡化的英文名称是Histogram Equalization. 　　图像对比度增强的方法可以分成两类:一类是直接对比度增强方法;另一类是间接对比度增强方法。直方图拉伸和直方图均衡化是两种最常见的间接对比度增强方法。直方图拉伸是通过对比度拉伸对直方图进行调整，

2017-03-14 23:21:17 5552

原创一个区间映射到另外一个区间算法

将[Omin，Omax]上每个数映射到区间[Nmin,Nmax]上。映射算法思想：计算出N区间长度除以O区间长度，得出O区间上单位长度对应于N区间上的大小，再将O区间上每个数减去O区间最小值后乘以单位区间对应的长度，最后加上N区间的最小值，实现投射到N区间上。数学模型如下：

2017-03-14 23:03:54 22300 4

原创双边滤波算法数学模型分析

双边滤波器是什么？正态模型的好处就是距离最近关系最强烈！双边滤波（Bilateral filter）是一种可以保边去噪的滤波器，跟各向异性滤波算法有着异曲同工之妙。之所以可以达到此去噪效果，该滤波由两个滤波算子叠加。一个函数是由几何空间距离（像素位置）决定滤波器系数。另一个由像素差值（像素值之间的关系）决定滤波器系数。灵感主要来自于高斯滤波器，高斯滤波器的缺点就是图像模糊厉害，失去了边沿信

2017-03-14 21:02:15 2091

原创各向异性滤波算法+数学模型分析

matlab练习程序（各向异性扩散）http://www.cnblogs.com/tiandsp/archive/2013/04/18/3029468.html主要是用来平滑图像的，克服了高斯模糊的缺陷，各向异性扩散在平滑图像时是保留图像边缘的（和双边滤波很像）。通常我们有将图像看作矩阵的，看作图的，看作随机过程的，记得过去还有看作力场的。这次新鲜，将图像看作热量场了。每个像素

2017-03-14 16:16:12 6851

qt4第三方串口文件

C++开发STM8单片机

空空如也