haoji007的博客

原文转自：http://blog.youkuaiyun.com/baimafujinji/article/details/6496222一、 引言K最近邻(k-Nearest Neighbor，KNN)分类算法，是一个理论上比较成熟的方法，也是最简单的机器学习算法之一。该方法的思路是：如果一个样本在特征空间中的k个最相似（即特征空间中最邻近）的样本中的大多数属于某一个类别，则该样本也属于这个类别。尽管kNN算法的思想比较简单，但它仍然是一种非常重要的机器学习（或数据挖掘）算法。在2006年12月召开的..

一、引言在机器学习模型中，需要人工选择的参数称为超参数。比如随机森林中决策树的个数，人工神经网络模型中隐藏层层数和每层的节点个数，正则项中常数大小等等，他们都需要事先指定。超参数选择不恰当，就会出现欠拟合或者过拟合的问题。而在选择超参数的时候，有两个途径，一个是凭经验微调，另一个就是选择不同大小的参数，带入模型中，挑选表现最好的参数。微调的一种方法是手工调制超参数，直到找到一个好的超参数组合，这么做的话会非常冗长，你也可能没有时间探索多种组合，所以可以使用Scikit-Learn的GridSearc.

1、TSNE的基本概念2、例1 鸢尾花数据集降维3、例2 MINISET数据集降维1、TSNE的基本概念t-SNE(t-distributed stochastic neighbor embedding)是用于降维的一种机器学习算法，是由 Laurens van der Maaten 等在08年提出来。此外，t-SNE 是一种非线性降维算法，非常适用于高维数据降维到2维或者3维，进行可视化。该算法可以将对于较大相似度的点，t分布在低维空间中的距离需要稍小一点；而对于低相似度的点，...

Matlab中常用的分类器有随机森林分类器、支持向量机（SVM）、K近邻分类器、朴素贝叶斯、集成学习方法和鉴别分析分类器等。各分类器的相关Matlab函数使用方法如下：首先对以下介绍中所用到的一些变量做统一的说明：train_data——训练样本，矩阵的每一行数据构成一个样本，每列表示一种特征train_label——训练样本标签，为列向量test_data——测试样本，矩阵的每一行数据构成一个样本，每列表示一种特征test_label——测...

三种激活函数以及它们的优缺点sigmoidsigmoidsigmoid导数：g′(z)=a(1−a)g^{'}(z)=a(1-a)g′(z)=a(1−a)最基本的激活函数，logistics regression以及讲解深度神经网络的时候作为简单例子，但实际上很少使用。原因如下：当z非常大或者非常小的时候，a的斜率变得越来越接近0，这会使得梯度下降算法变得极为缓...

文章目录全球知名AI研究院（实验室） 国外 谷歌 Facebook 微软 麻省理工 斯坦福 卡内基梅隆 国内 阿里巴巴 腾讯 百度 旷视 南京大学 清华大学 北京大学 全球知名AI研究院（实验室）国外谷歌DeepMind，是一家英国的人工智能公司，由人工智...

史上最全的人工智能知识图谱转载于公众号： 数邦客人工智能知识图谱1 知识图谱知识图谱(Knowledge Graph)又称为科学知识图谱，由Google与2012年5月提出，目的是提高搜索引擎的能力，改善用户的搜索质量及搜索体验。随着人工智能技术的发展和应用，知识图谱逐渐成为关键技术之一，现已被广泛应用于智能搜索、智能问答、个性化推荐、内容分发等领域。维基百科...

SVM Kernel Functions====================================================================This article came from here.Thanks for zhizhihu.================================================================...

机器学习中的相似性度量在做分类时常常需要估算不同样本之间的相似性度量(Similarity Measurement)，这时通常采用的方法就是计算样本间的“距离”(Distance)。采用什么样的方法计算距离是很讲究，甚至关系到分类的正确与否。　　本文的目的就是对常用的相似性度量作一个总结。 本文目录：1. 欧氏距离2. 曼哈顿距离3. 切比雪夫距离4. 闵可夫斯基距离5. 标准化欧氏距离6. 马氏...

前言谷歌董事长施密特曾说过：虽然谷歌的无人驾驶汽车和机器人受到了许多媒体关注，但是这家公司真正的未来在于机器学习，一种让计算机更聪明、更个性化的技术。也许我们生活在人类历史上最关键的时期：从使用大型计算机，到个人电脑，再到现在的云计算。关键的不是过去发生了什么，而是将来会有什么发生。工具和技术的民主化，让像我这样的人对这个时期兴奋不已。计算的蓬勃发展也是一样。如今，作为一名数据科学家，用复杂的算法...

Hog特征综述背景方向梯度直方图（Histogram of Oriented Gradient, HOG）特征是一种在计算机视觉和图像处理中用来进行物体检测的特征描述子。它通过计算和统计图像局部区域的梯度方向直方图来构成特征。它是一种能够很好地描述图像局部纹理或边缘的方向密度分布的一种特征。Hog特征结合 SVM分类器用于行人检测具有很好效果。两个概念像素点梯度与梯度方向假设图像中像素点(x,y)...

 人脸检测（一）2017年05月06日 17:34:16 HamTam12 阅读数：7960 标签： 人脸检测 OpenCV人脸检测 Dlib人脸检测 级联网络人脸检测 Seetaface 更多个人分类： 人脸检测 caffe 版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.youkuaiyun.com/sinat_14916279/article/detai...

之前在学习CNN的时候，有对卷积进行一些学习和整理，后来就烂尾了，现在稍微整理下，先放上来，以提醒和交流。一、线性滤波与卷积的基本概念      线性滤波可以说是图像处理最基本的方法，它可以允许我们对图像进行处理，产生很多不同的效果。做法很简单。首先，我们有一个二维的滤波器矩阵（有个高大上的名字叫卷积核）和一个要处理的二维图像。然后，对于图像的每一个像素点，计算它的邻域像素和滤

数据的形式是多种多样的，维度也是各不相同的，当实际问题中遇到很高的维度时，如何给他降到较低的维度上？前文提到进行属性选择，当然这是一种很好的方法，这里另外提供一种从高维特征空间向低纬特征空间映射的思路。数据降维的目的　　数据降维，直观地好处是维度降低了，便于计算和可视化，其更深层次的意义在于有效信息的提取综合及无用信息的摈弃。数据降维的方法　　主要的方法是线性映射和

通常，我们会遇到很多问题无法用分析的方法来求得精确解，例如由于式子特别，真的解不出来；一般遇到这种情况，人们经常会采用一些方法去得到近似解（越逼近精确解越好，当然如果一个近似算法与精确解的接近程度能够通过一个式子来衡量或者有上下界，那么这种近似算法比较好，因为人们可以知道接近程度，换个说法，一般一个近似算法被提出后，人们通常都会去考察或寻求刻划近似程度的式子）。本文要谈的随机模拟就

浅析人脸检测之Haar分类器方法一、Haar分类器的前世今生       人脸检测属于计算机视觉的范畴，早期人们的主要研究方向是人脸识别，即根据人脸来识别人物的身份，后来在复杂背景下的人脸检测需求越来越大，人脸检测也逐渐作为一个单独的研究方向发展起来。       目前的人脸检测方法主要有两大类：基于知识和基于统计。Ø  基于知识的方法：主要利用先验知识将人脸看作器

蚁群算法、遗传算法、模拟退火算法介绍穷举法列举所有可能,然后一个个去,得到最优的结果。如图一，需要从A点一直走到G点，才能知道，F是最高的（最优解）。这种算法得到的最优解肯定是最好的，但也是效率最低的。 穷举法虽然能得到最好的最优解，但效率是极其低下的。为了能提高效率，可以不要枚举所有的结果，只枚举结果集中的一部分，如果某个解在这部分解中是最

转载自 http://www.cnblogs.com/neopenx/p/4453161.htmlReLu(Rectified Linear Units)激活函数论文参考：Deep Sparse Rectifier Neural Networks (很有趣的一篇paper）起源：传统激活函数、脑神经元激活频率研究、稀疏激活性传

http://blog.youkuaiyun.com/loadstar_kun/article/details/39450615http://blog.youkuaiyun.com/helloworld6746/article/details/50817427一、KNN算法概述KNN作为一种有监督分类算法，是最简单的机器学习算法之一，顾名思义，其算法主体思想就是根据距离相近的邻居类别，来判

综述：： LBP特征：Local Binary Pattern，局部二值模式特征，是一种用来描述图像局部纹理特征的算子。LBP特征算子计算简单、效果较好，数据量小，因此LBP特征在计算机视觉的许多领域都得到了广泛的应用，LBP特征比较多用于目标检测中。LBP计算出的特征具有灰度不变性和旋转不变性等显著优点，例如对光照不敏感。LBP的基本算子原始的LBP算子定义为在3*3的窗口内，以窗口中心像素为阈...

Haar特征Haar特征原理综述Haar特征是一种反映图像的灰度变化的，像素分模块求差值的一种特征。它分为三类：边缘特征、线性特征、中心特征和对角线特征。用黑白两种矩形框组合成特征模板，在特征模板内用 黑色矩形像素和 减去 白色矩形像素和来表示这个模版的特征值。例如：脸部的一些特征能由矩形模块差值特征简单的描述，如：眼睛要比脸颊颜色要深，鼻梁两侧比鼻梁颜色要深，嘴巴比周围颜色要深等。但矩形特征只对...

综述SVM支持向量机SVM(Support Vector Machine)是一个有监督的学习模型，通常用来进行模式识别、分类、以及回归分析。总得来说，SVM就是通过训练得到一个超平面 ,将样本分类，保证被分类的样本中离超平面近的一些点距离超平面距离（几何间隔）最大，这些离超平面近的点叫作支持向量(之所以叫支持向量而不叫支持样本是因为每个样本均认为是一个向量，每个特征是向量的一个元素)。LibSvm...

t-SNE实践——sklearn教程t-SNE是一种集降维与可视化于一体的技术，它是基于SNE可视化的改进，解决了SNE在可视化后样本分布拥挤、边界不明显的特点，是目前最好的降维可视化手段。关于t-SNE的历史和原理详见从SNE到t-SNE再到LargeVis。代码见下面例一TSNE的参数函数参数表：parameters 描述 n_components...

斯坦福CS231n 2017春季课程全公开，视频+PPT+英文字幕2017年08月16日 21:11:43Dean0Winchester阅读数：5217全部课程视频（英文字幕）：http://t.cn/R9Dfnxn所有课程资料、PPT等：http://cs231n.stanford.edu/syllabus.html课程描述讲师和助教团队计算机视觉在我们的社...

机器学习中的目标函数、损失函数、代价函数有什么区别？首先给出结论：损失函数和代价函数是同一个东西， 目标函数是一个与他们相关但更广的概念，对于目标函数来说在有约束条件下的最小化就是损失函数（loss function）。举个例子解释一下:（图片来自Andrew Ng Machine Learning公开课视频）上面三个图的函数依次为 f1(x)， f2(x)， f3(x)...

Deep Learning(深度学习)，一个很火热的研究方向，然而，它已经有很久的历史，只不过由于当时没有充足的数据和强大的计算能力，导致它此起彼伏了好几次。如今，他为什么会这么火热，最主要的原因有两点：1.大数据时代已经来临，国内很多的公司每天可以收集到足够多的信息，并将其存储起来，对其经过预处理之后，将其作为深度学习的深入。总之，企业已经有了海量的数据，基本上可以满足你的各种需求。...

CV人物1：Jianbo Shi史建波毕业于UC Berkeley，导师是Jitendra Malik。其最有影响力的研究成果：图像分割。其于2000年在PAMI上多人合作发表”Noramlized cuts and image segmentation”。这是图像分割领域内最经典的算法。主页：www.cis.upenn.edu/~jshi/ 和 www.cs.cmu.edu/~jshi/...

【原文：http://blog.youkuaiyun.com/rodgeliao/article/details/7788177】 作者：tornadomeet 出处：http://www.cnblogs.com/tornadomeet 跟opencv相关的：http://opencv.org/2012年7月4日随着opencv2.4.2版本的发布，opencv更改了其最新的官方网站地址。...

【原文：http://blog.youkuaiyun.com/songzitea/article/details/18418825】无论是图像处理、信号处理，还是做音视频处理等方面的研究，总是避不开的傅里叶变换和小波相关知识。在此，网上看到相关知识，很受启发，特转载其中图片过来共勉，然后，根据本人对其中内容作出相关解释，如下图所示(注：此图片来自网络)。第一、图中虚线框里的内容，都应该是在高等数学...

【原文：http://blog.youkuaiyun.com/raby_gyl/article/details/11659915】一、整个程序的流程图： 二、车牌定位中分割流程图： 关于代码两个if(r<1)的详解： 参考：RotatedRect和CvBox2D。CvBox2D结构如下:(重点是angle的注释)  三、车牌识别中字符分割流程图：...

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.youkuaiyun.com/sinat_14916279/article/details/72822401对最常见的机器学习算法做一点点简单的总结，嫌麻烦公式就不贴了，这里有我字很丑的听课笔记，无关人员请撤离…LR与SVM的异同相同点：逻辑回归和SVM都是有监督学习，本质都是线性分类判别模型。不同点：（1）原理不同...

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.youkuaiyun.com/u012759136/article/details/52302426前言（标题不能再中二了）本文仅对一些常见的优化方法进行直观介绍和简单的比较，各种优化方法的详细内容及公式只好去认真啃论文了，在此我就不赘述了。SGD此处的SGD指mini-batch gradient descent...

由上图我们可以看到，机器学习分为四大块，分别是 classification (分类)， regression (回归),  clustering (聚类),  dimensionality reduction (降维)。给定一个样本特征 , 我们希望预测其对应的属性值 , 如果  是离散的, 那么这就是一个分类问题，反之，如果  是连续的实数, 这就是一个回归问题。如...

Logistic回归以及LR与SVM异同标签： 机器学习 2017-08-08 14:29 20人阅读 评论(0)收藏举报分类： 机器学习（4） 版权声明：本文为博主原创文章，未经博主允许不得转载。目录(?)[+]逻辑回归的优缺点优点：1）速度快，适合二分类问题2）简单易于理解，

朴素贝叶斯分类算法(Naive Bayesian classification)标签： 机器学习 2017-08-06 15:28 23人阅读 评论(0)收藏举报分类： 机器学习（4） 目录(?)[+]转载自 http://www.cnblogs.com/leoo2sk/archive/2010/09/17/naive

一、SMO算法简单推导前面讲了一大堆都是理论推导，最后得到的公式是： KKT条件为： 接着我们要将的就是如何求解，编程如何实现，这才是我们学习的真正目的。在这里我们先不管KKT条件，相关公式推导，我们的目的是求解拉格朗日乘子，求解上面那么方程，我们可以用梯度上升的方法进行求解。然而按照梯度上升的思想，如果我们对α1进行迭代更新的时候，我们需要固定除了α1以外的所有参数，

上一篇博文中我们得到的最后求解方程是：接着我们将详解它的求解方法。这一步涉及到拉格朗日求解问题，有点难，建议如果想学这个问题是怎么求解的，先去好好学学拉格朗日的对偶问题求解。一、数学基础知识复习：这里我们先复习一下拉格朗日求解约束型最大最小值问题：用“拉格朗日乘数法”求函数f(x,y,z)在条件φ(x,y,z)=0下的极值，步骤如下：1.做拉格朗日函数L=f

白化whitening原文地址：http://blog.youkuaiyun.com/hjimce/article/details/50864602作者：hjimce一、相关理论    白化这个词，可能在深度学习领域比较常遇到，挺起来就是高大上的名词，然而其实白化是一个比PCA稍微高级一点的算法而已，所以如果熟悉PCA，那么其实会发现这是一个非常简单的算法。    白化

为了理解svm算法，我这边以2位空间的点数据集分类为例，在二维空间中，直线的一般公式为：Ax+By+c=0；然后我们希望通过已有的数据点，求出直线的A,B,C三个参数，这就是SVM算法的目的。(1)这里我们为了方便，我把直线的一般公式写成：写成矩阵形式：简化为：先回忆一下点P(x1,x2)位于直线的上方和下方的计算公式，判断方法如下：

PCA数据降维原文地址：http://blog.youkuaiyun.com/hjimce/article/details/45000221 作者：hjimce一、PCA相关理论PCA算法又称主成分分析，是一種分析、簡化數據集的技術。主成分分析经常用于减少数据集的维数，同时保持数据集中的对方差贡献最大的特征。PCA的数学定义是：一个正交化线性变换，把数据变换到一个新的坐标系统中，使得这一数据的