叶子的博客

Python K均值聚类是一种无监督的机器学习算法，能够实现自动归类的功能。算法步骤如下：（1）随机产生K个分类中心，一般称为质心。（2）将所有样本划分到距离最近的质心代表的分类中。（距离可以是欧氏距离、曼哈顿距离、夹角余弦等）（3）计算分类后的质心，可以用同一类中所有样本的平均属性来代表新的质心。（4）重复（2）（3）两步，直到满足以下其中一个条件：

Logistic回归可以认为是线性回归的延伸，其作用是对二分类样本进行训练，从而对达到预测新样本分类的目的。假设有一组已知分类的MxN维样本X，M为样本数，N为特征维度，其相应的已知分类标签为Mx1维矩阵Y。那么Logistic回归的实现思路如下：（1）用一组权重值W（Nx1）对X的特征进行线性变换，得到变换后的样本X’（Mx1），其目标是使属于不同分类的样本X’存在一个明显的一维边界。

决策树（DecisionTree）算法：按照样本的属性逐步进行分类，为了能够使分类更快、更有效。每一个新分类属性的选择依据可以是信息增益IG和信息增益率IGR，前者为最基本的ID3算法，后者为改进后的C4.5算法。以ID3为例，其训练过程的编程思路如下：（1）输入x、y（x为样本，y为label），行为样本，列为样本特征。（2）计算信息增益IG，获取使IG最大的特征。（3）获得删

KNN最近邻算法：利用向量之间的距离来分类。步骤：第一步：计算新样本与已知分类样本之间的距离。第二步：将所求距离按从小到大排列。第三步：选取距离最近的k个样本。第四步：将新样本归为以上k个样本大多数中的一类。以下为KNN最近邻分类算法的python代码：第一部分：KNN分类代码# -*- coding: utf-8 -*-"""Created on Mon F

Python主成分分析算法的作用是提取样本的主要特征向量，从而实现数据降维的目的。# -*- coding: utf-8 -*-"""Created on Sun Feb 28 10:04:26 2016PCA source code@author: liudiwei"""import numpy as npimport pandas as pdimp

Naïve Bayes 分类的核心是计算条件概率P(y|x），其中y为类别，x为特征向量。其意义是在x样本出现时，它被划分为y类的可能性（概率）。通过计算不同分类下的概率，进而把样本划分到概率最大的一类。根据条件概率的计算公式可以得到：P(y|x) = P(y)*P(x|y)/P(x)。      由于在计算不同分类概率是等式右边的分母是相同的，所以只需比较分子的大小。并且，如果各个样