陌上尘埃

根据上一节的知识，不难看出，模式识别的核心任务是——分类。这一节我们通过一个识别动物种类的简单例子，说明一下分类的基本类别和方法。一般地，分类问题可以分为两类和多类两种，如下图所示：有人可能就要问了，为什么要把两类问题专门独立出来呢？首先，两类问题是分类问题中最简单的一种。其次，很多多类问题可以被分解为多个两类问题进行求解（请看下文分解）。所以，历史上有很多算法都是针对两类

今天介绍一种简单高效的分类器——朴素贝叶斯分类器（Naive Bayes Classifier）。相信学过概率论的同学对贝叶斯这个名字应该不会感到陌生，因为在概率论中有一条重要的公式，就是以贝叶斯命名的，这就是“贝叶斯公式”

Today I have found two interesting posts. One is named "Machine learning isn't Kaggle Competitions", while the other is named "Machine learning isn't Kaggle Competitions". Now let's see what they say.

关于 Adaboost 的身世已经有很多博客探讨过，这里我们不再赘述，我们直接讨论算法本身。在 Yoav Freund 和 Robert E. Schapire 的原文献《A Decision-Theoretic Generalization of On-Line Learning and an Application to Boosting》中，针对两类问题的 AdaBoost 算法描述如下：

今天介绍模式识别中另外一种经典的分类器算法——K近邻分类器（K-nearest neighbor，KNN）。俗话说：“物以类聚，人以群分”。KNN就是利用了这样一种思想发展起来的分类器。首先，KNN 是一种基于距离的分类器，其次，它也是一种“懒人”分类方法（不需要训练）。KNN 认为，待分类对象的类别可以通过在它附近的训练数据的类别来确定，所以采取的策略就是找到离待分类对象最近的 K

每个学科都有自己研究的核心问题，机器学习也不例外，它主要是为了回答这样一个问题：“如何构建一个能够通过积累的经验而使自身性能得到改善的计算机系统，以及何为支配其学习过程的基本法则？”机器学习是计算机科学和统计学两个学科交叉之后的自然产物之一，同时也受到心理学、神经科学和其他相关学科中关于人类和动物的学习理论的影响。下面就机器学习领域中的一些相关问题作简要介绍。

本节我们正式介绍第一个模式识别经典算法——Fisher 线性分析。有首古诗道：“横看成岭侧成峰，远近高低各不同。”意思是说从不同角度看待同一事物，可以得到不同的视觉体验。Fisher 的算法就利用了这样的原理。这里，从不同角度看，反过来就是说景物以不同的方向投影到人的眼睛里去。注意到这样一个事实，一个三维的物体投影到眼睛里就变成了一副二维的图像。也就是说，投影具有降维的作用。对于一个分

上一节我们讲到，分类器的设计有两种思路：基于判别函数的分类器和基于距离的分类器。本节我们开始介绍基于判别函数的分类器中的线性判别函数法。判别函数法是对不同模式进行分类有很多方法中应用比较广的一种。所谓判别函数就是指直接用来对模式样本进行分类的准则函数。如果判别函数可以用线性关系进行描述的话，就称之为线性判别函数，否则称为非线性判别函数。上图给了我们一个直观的理解，第一个图中

在正式引入模式识别的概念之前，让我们先看几个模式识别应用的实例。1.iphone5s 中的指纹识别系统苹果公司于2013年发布新一代手机——iPhone5s，革命性地在其经典的Home键上加入了指纹识别系统，实现自动解锁的功能。2.讯飞语点语言识别系统继苹果 Siri 语言系统之后，科大讯飞推出了中文语音助手——讯飞语点，丰富人们与手机间的交互方式，该软件主要涉及到