【Python机器学习实战】无监督学习之PCA和K-Means二连击

无监督学习实践

最新推荐文章于 2022-03-24 14:11:37 发布

原创

最新推荐文章于 2022-03-24 14:11:37 发布 · 1.1k 阅读

5 ·

CC 4.0 BY-SA版权

文章标签：

#Python #机器学习 #sklearn #PCA #K均值

简介

无监督学习着重于发现数据本身的分布特点。与监督学习不同，无监督学习不需要对数据进行标记。

从功能上来看，无监督学习模型可以用于发现数据的“群落”（聚类），同时也可以寻找“离群”的样本，另外，对于特征维度非常高的数据样本，我们同样可以通过无监督的学习对数据进行降维（PCA），保留最具有区分性的低维度特征。这些都是在海量数据处理中非常实用的技术。

K均值（K-means）算法

K均值算法是数据聚类中最经典，也相对容易理解的模型。算法执行可以分层一下四个阶段：

随机布设K个特征空间内的点作为初始的聚类中心；
对每个数据的特征向量，从K个聚类中心中选择距离最近的一个，并把改数据标记为从属于这个聚类中心；
在所有的数据都被标记过聚类中心后，根据这些数据被分配的类簇，重新对K个聚类中心做计算；
如果一轮下来，所有的数据点从属的聚类中心与上一次的分配的类簇没有变化，那么迭代就可以停止，否则回到第二步继续循环。

主成分分析PCA

使用PCA进行降维的目的有两个：

在实际项目中经常会有特征维度非常之高的训练样本，而往往又无法借助自己的领域知识人工地构建有效特征；
在数据表现方面，我们无法用肉眼观测超过三个维度的特征，因此数据降维为数据的可视化提供了可能性。

问题引出

本文将继续使用对手写数字进行分类的数据，关于数据的相关内容可以参考我的另外一篇博客：sklearn实例-用支持向量机分类器（SVC）识别手写字体

代码实例

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from sklearn.cluster import KMeans
from sklearn.metrics import adjusted_rand_score, classification_report
from sklearn.decomposition import PCA
from sklearn.svm import LinearSVC

digits_train = pd.read_csv('https://archive.ics.uci.edu/ml/machine-learning-databases/'
                           'optdigits/optdigits.tra', header=None)
digits_test = pd.read_csv(