天道酬勤

在统计计算中，最大期望（EM）算法是在概率（probabilistic）模型中寻找参数最大似然估计或者最大后验估计的算法，其中概率模型依赖于无法观测的隐藏变量（LatentVariable）。最大期望经常用在机器学习和计算机视觉的数据聚类（DataClustering）领域。最大期望算法经过两个步骤交替进行计算，第一步是计算期望（E），利用对隐藏变量的现有估计值，计算其最大似然估计值；第二步是最大

模拟退火算法　　模拟退火算法来源于固体退火原理，将固体加温至充分高，再让其徐徐冷却，加温时，固体内部粒子随温升变为无序状，内能增大，而徐徐冷却时粒子渐趋有序，在每个温度都达到平衡态，最后在常温时达到基态，内能减为最小。根据Metropolis准则，粒子在温度T时趋于平衡的概率为e-ΔE/(kT)，其中E为温度T时的内能，ΔE为其改变量，k为Boltzmann常数。用固体退火模拟组合优化问题，将

转载自：http://blog.youkuaiyun.com/byxdaz/article/details/5348552.1 BP神经网络基本原理     BP网络模型处理信息的基本原理是：输入信号Xi通过中间节点（隐层点）作用于输出节点，经过非线形变换，产生输出信号Yk，网络训练的每个样本包括输入向量X和期望输出量t，网络输出值Y与期望输出值t之间的偏差，通过调整输入节点与隐层节点的联接强度取值W

本文主要内容包括： (1) 介绍神经网络基本原理，(2) AForge.NET实现前向神经网络的方法，(3) Matlab实现前向神经网络的方法 。第0节、引例        本文以Fisher的Iris数据集作为神经网络程序的测试数据集。Iris数据集可以在http://en.wikipedia.org/wiki/Iris_flower_data_set  找到。这里

人工智能、机器学习、模式识别、计算机视觉、数据挖掘、信息检索、自然语言处理等作为计算机科学重要的研究分支，不论是学术界还是工业界，有关这方面的研究都在如火如荼地进行着，学习这些方面的内容有一些经典书籍，现总结如下，方便自己和大家以后学习研究：人工智能：《Artificial Intelligence: A Modern Approach》，第三版，Russell著，权威、经典的人工

文章来自：http://www.cnblogs.com/kshenf/archive/2012/06/14/2548708.html       今天给大家介绍一下经典的开源机器学习软件：编程语言：搞实验个人认为当然matlab最灵活了（但是正版很贵），但是更为前途的是python（numpy+scipy+matplotlib)和C/C++，这样组合既可搞研究，也可搞商业开发，易用性不

国际权威的学术组织the IEEE International Conference on Data Mining (ICDM) 2006年12月评选出了数据挖掘领域的十大经典算法：C4.5, k-Means, SVM, Apriori, EM, PageRank, AdaBoost, kNN, Naive Bayes, and CART. 不仅仅是选中的十大算法，其实参加评选的18种算法

kjK均值算法是基于质心的技术。它以K为输入参数，把n个对象集合分为k个簇，使得簇内的相似度高，簇间的相似度低。处理流程：1、为每个聚类确定一个初始聚类中心，这样就有k个初始聚类中心；2、将样本按照最小距离原则分配到最邻近聚类3、使用每个聚类中的样本均值作为新的聚类中心4、重复步骤2直到聚类中心不再变化5、结束，得到K个聚类划分聚类方法对数据集进行聚类时的要点1

SVM 原理：传统的统计模式识别方法只有在样本趋于无穷大时，其性能才有理论的保证。而统计学习理论（STL）研究有限样本情况下的机器学习问题。SVM的理论基础就是统计学习理论。SVM使用一种非线性映射，把原训练数据映射到较高的维。在新的维上，搜索最佳分离超平面，两个类的数据总可以被超平面分开。SVM是一种有坚实理论基础的小样本学习方法。它基本上不涉及概论测度及大数定律等。 问

聚类的定义分类是有监督学习，要求事先明确知道各个类别的信息，并且断言所有待分类项都有一个类别与之相对应。但是很多时候上述条件不能满足，尤其是在处理海量数据时，此时可用聚类算法。聚类是无监督学习，聚类不依赖于预定义的类和类标号的训练实例。聚类分析是将物理或抽象对象的集合分成由类似的对象组成的多个类的过程。 聚类分析中的数据类型相异度矩阵：存储n个对象两两之间的近似性。也叫单模矩阵，行

BP神经网络训练前馈网络的第一步是建立网络对象。函数newff()建立一个可训练的前馈网络。这需要4个输入参数。第一个参数是一个Rx2的矩阵以定义R个输入向量的最小值和最大值。第二个参数是一个设定每层神经元个数的数组。第三个参数是包含每层用到的传递函数名称的细胞数组。最后一个参数是用到的训练函数的名称。举个例子，下面命令将创建一个二层网络。它的输入是两个元素的向量，