金字塔上的蜗牛的专栏

Naive Bayes（朴素贝叶斯）可用来做二分类。是一种生成学习算法。logistical regression也是一个二类分类器，但是和Naive Bayes是两种不同的思路，思想非常不一样。假设我们要在一群动物中区分蚂蚁和大象。生成学习算法教我们用从训练数据中学习出蚂蚁长什么样子，大象长什么样子。然后现在有一个动物，我们要判断它是哪一种，计算它更像哪一个就把它判断为哪

Occam剃刀原理告诉我们如果同时有两种理论能解释同一种现象，应该选择更简单的那种。对应到机器学习中，需要在train error和overfiting error间做平衡，在两个同样能很好解释训练数据中的模型中选择那个更加简单的模型，以防止模型的过拟合。

内容来自于udcity的纳米课程分了六个方面梳理了Machine Learning的所有内容。WHAT?WHAT FROM?WHAT FOR?HOW?OUTPUTS?DETAILS?

原文地址：http://www.cnblogs.com/fstang/p/4192735.html一直以为梯度下降很简单的，结果最近发现我写的一个梯度下降特别慢，后来终于找到原因：step size的选择很关键，有一种叫backtracking line search的梯度下降法就非常高效，该算法描述见下图：下面用一个简单的例子来展示，给一个无约束优化问题：mini

相比于批梯度下降法，随机梯度下降法更快，但是也有不能收敛到最优解的问题。一种min-batch的梯度下降法是二者的折中。

坐标下降法是一种思想简单的优化方法，常用的坐标轮换搜索是其中的一个特例。

alternating minmize算法，中文称作交替最小法。算法思想：假定有目标函数f(U,V)，每次仅把其中的一个变量视作可变量进行优化，其他的变量视作常量，对所有的变量交替进行此优化操作。假定初始有(U,V)=(U0,V0)U1 = argmin_U{f(U,V0)}得到(U1, V0)--->f(U1,V0)V1 = argmin_V{f(U1,V)}得到(U

EM算法是机器学习中常用到的优化算法。MM算法与EM算法有联系但是又有区别，简单来说EM算法是MM算法中的一种情况。

bagging的作用bagging是增强原算法的一种手段。神经网络、分类问题、回归问题、线性回归中的子集选择问题、k最近邻算法都可以使用bagging来加强。使用bagging加强后的算法的性能会出现一些有规律的变化。一般而言，若原来的算法的稳定性差，使用bagging后，算法的准确率会得到较大程度的提高。若原来的算法的稳定性高，则使用bagging后，算法的准确率会略微降低。因此，在考虑使用bag

1. 问题背景 生物学研究中，用检测DNA序列来判断检测对象的物种越来越成为一种简便、快捷的手段。现在的测量技术已经能够很方便地测量出物种的DNA序列，将其进行分类可以运用机器学习的方法。本文将探讨如何基于DNA序列的数据集设计一个性能良好的多类的分类器。2. 数据集简介 数据集中有共20000条基于序列，一共来自10个物种。其中一条基因是一个72个碱基的序列，如下所示：AGGGG