qq_38940316的博客

前言  选了个模式识别的课，好家伙老师上来就给任务写个手写数字识别的应用程序，还要有界面，语言不限，C、C++、Python、Java、Matlab都可以。Emmm…其实这个问题不算太大，毕竟就个人而言学习编程总是比学习概率论稍微好受一些的QAQ好了废话不多说，我选择的工具已经在标题上表明得很清楚了，下面正式开始记录：一、理论基础  无论对数学多头疼，不把理论上的东西整明白还是没法写程序的。  二、编程实践三、实际效果四、参考资料一位把手写数字

  就知道贝叶斯只是一个开始了…这次老师要求使用线性分类器，可以直接在（一）的设计基础上进行功能拓展（其实就是把线性分类器做出来再往朴素贝叶斯分类器的位置一塞而已）。  因为要识别的数字是 0~9 一共十类，所以这其实是个多类分类问题。一般解决多类分类问题有两种思路，一是把多类问题分解成多个两类问题，通过多个两类分类器实现多类的分类；另一种方法是直接设计多类分类器。考虑到使用多个两类分类器（无论是“一对多”还是“逐对”，“一对多“甚至还会出现两类样本数量差距过于悬殊的情况）都会出现歧义区域，所以最后还是选

  占坑

  本文完成于手写数字识别实践（二）之前，类似于学习分支吧，算是自己做的一个拓展学习（当然也不排除老师后续发布相关任务直接转正的可能）。一、理论基础  K-近邻( K-Nearest Neighbor，简称KNN)学习是一种常用的监督学习方法，其工作机制非常简单：给定测试样本，基于某种距离度量找出训练集中与其最靠近的 kkk 个训练样本，然后基于这 kkk 个“邻居”的信息来进行预测。  很明显，和朴素贝叶斯方法相比，K-近邻学习有一个明显的不同之处：它没有显式的训练过程。作为“懒惰学习”的代表，它在

目录一、概率密度函数的参数估计方法1.极大似然估计（1）极大似然估计的基本假设（2）求极大似然函数估计值的一般步骤：2.贝叶斯估计（1）贝叶斯估计的基本假设（2）求贝叶斯估计值的一般步骤3.极大似然估计法和贝叶斯估计法选择标准二、概率密度函数的非参数估计方法一、概率密度函数的参数估计方法1.极大似然估计（1）极大似然估计的基本假设要估计的参数记为 θ\thetaθ，它是确定但未知的量（多个参数时是向量）；从每类样本中抽取出来的样本间都满足独立同分布条件；类条件概率密度具有确定的函数形式，只是其