Murphyt的专栏

感知机（perceptron）是二分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别。取+1和-1二值，感知机对应于输入空间（特征空间）中将实例划分为正负两类的分离超平面，属于判别模型。感知机是为了求出将线性数据进行线性判别的分离超平面，为此，导入基于误分类的损失函数，利用梯度下降法对损失函数进行极小化，求得感知机模型。1.感知机模型假设输入空间是，输出空间是，x和y分属这两

k近邻法（k-Nearest eighbor，K-NN）是一种基本分类的回归方法。K近邻法的输入为实例的特征向量，对应的特征空间的点：输出为实例的类别，可以取多类。     k值的选择，距离度量，和分类决策规则是k近邻法的三个基本要素。K近邻算法给定一个训练数据集，对新的输入实例，在训练数据集中找到跟它最近的k个实例，根据这k个实例的类判断它自己的类（一般采用多数表决的

朴素贝叶斯法的学习与分类基本方法设输入空间为n维向量的集合，输出空间为类标记集合={c1……ck}。输入特征向量x和输出类标记y分属于这两个集合。X是输入空间上的随机变量，Y是输出空间上的随机变量。P(X,Y)是X和Y的联合概率分布，训练数据集由P(X,Y)独立同分布产生。朴素贝叶斯法通过T学习联合概率分布P(X,Y)。具体来讲，学习以下先验概率：

1.线性回归模型"回归"的由来Francis Galton,英国生物学家，他研究了父母身高与子女身高之间关系后得出，若父母身高高于平均大众身高，则其子女身高倾向于倒退生长，即会比其父母身高矮一些而更接近于大众平均身高。若父母身高小于平均身高，则其子女身高倾向于向上生长，以更接近于大众平均身高。此现象，被Galton称之为回归现象，即regression.什么是线性回归？这里

逻辑斯谛回归模型逻辑斯谛分布首先介绍逻辑斯谛分布，该分布的定义是设X是连续随机变量,X服从逻辑斯谛分布是指X服从如下分布函数和密度函数:其中，为位置参数，> 0 为形状参数。可以通过其图像观察：右边的逻辑斯蒂分布函数以点中心对称，即满足：形状参数越小，曲线在中心的增长速度越快。二项逻辑斯蒂回归模型