V_victor的博客

K近邻法K近邻法（k-nearest neighbor，k-NN）是一种基本分类与回归方法。k近邻法实际上利用训练数据集对特征向量空间经行划分，并作为其分类的“模型”。1.算法：输入：训练数据集T，其中的实例类别已定。输出：实例x的所属的类y。分类时，对新的实例，根据k个最近邻的训练实例的类别，通过多数表决等方式经行预测。（1）根据给定的距离度量，在训练数据集T中找出与

逻辑回归（Logistic regression）逻辑回归是统计学习中的经典分类方法。其多用在二分类{0,1}问题上。定义1：设X是连续随机变量，X服从逻辑回归分布是指X具有下列分布函数与密度函数：分布函数属于逻辑斯谛函数，其图形是一条S形曲线。定义2：二项逻辑斯谛回归模型是如下条件概率分布：从上式可以看出，逻辑回归对线性回归经行了归一化

写在前面:最近正在学习机器学习，为了养成好的习惯，就按章节做了笔记并用python实现。文章中必不可少出现错误，还请大家谅解。写出来是为了激励自己努力学习，可以写出更多的东西和大家分享学习心得和体会。感知机（perceptron）感知机是二类分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别，取+1和-1。例如，人们总是可以轻而易举的分辨出橘子和苹果，但机器怎么分辨出橘子

朴素贝叶斯法朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集，首先基于特征条件独立假设学习输入/输出的联合概率分布；然后基于此模型，对给定的输入x，利用贝叶斯定理求出后验概率最大的输出y。换句话说，在已知条件概率和先验概率的情况下（即，在事件Bi发生条件下发生事件A的概率，和发生事件Bi的概率），求后验概率（即，在事件A发生条件下事件Bi发生的概率）。

支持向量机SVM的学习笔记。对书中关键知识点进行了摘录，并加入一些自己的理解。-------------------------------------------------------------------------------------------------------------------------------------------------