简介
无监督学习着重于发现数据本身的分布特点。与监督学习不同,无监督学习不需要对数据进行标记。
从功能上来看,无监督学习模型可以用于发现数据的“群落”(聚类),同时也可以寻找“离群”的样本,另外,对于特征维度非常高的数据样本,我们同样可以通过无监督的学习对数据进行降维(PCA),保留最具有区分性的低维度特征。这些都是在海量数据处理中非常实用的技术。
K均值(K-means)算法
K均值算法是数据聚类中最经典,也相对容易理解的模型。算法执行可以分层一下四个阶段:
- 随机布设K个特征空间内的点作为初始的聚类中心;
- 对每个数据的特征向量,从K个聚类中心中选择距离最近的一个,并把改数据标记为从属于这个聚类中心;
- 在所有的数据都被标记过聚类中心后,根据这些数据被分配的类簇,重新对K个聚类中心做计算;
- 如果一轮下来,所有的数据点从属的聚类中心与上一次的分配的类簇没有变化,那么迭代就可以停止,否则回到第二步继续循环。
主成分分析PCA
使用PCA进行降维的目的有两个:
- 在实际项目中经常会有特征维度非常之高的训练样本,而往往又无法借助自己的领域知识人工地构建有效特征;
- 在数据表现方面,我们无法用肉眼观测超过三个维度的特征,因此数据降维为数据的可视化提供了可能性。
问题引出
本文将继续使用对手写数字进行分类的数据,关于数据的相关内容可以参考我的另外一篇博客:sklearn实例-用支持向量机分类器(SVC)识别手写字体
代码实例
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from sklearn.cluster import KMeans
from sklearn.metrics import adjusted_rand_score, classification_report
from sklearn.decomposition import PCA
from sklearn.svm import LinearSVC
digits_train = pd.read_csv('https://archive.ics.uci.edu/ml/machine-learning-databases/'
'optdigits/optdigits.tra', header=None)
digits_test = pd.read_csv(