【Python机器学习实战】无监督学习之PCA和K-Means二连击

无监督学习实践

简介

无监督学习着重于发现数据本身的分布特点。与监督学习不同,无监督学习不需要对数据进行标记。

从功能上来看,无监督学习模型可以用于发现数据的“群落”(聚类),同时也可以寻找“离群”的样本,另外,对于特征维度非常高的数据样本,我们同样可以通过无监督的学习对数据进行降维(PCA),保留最具有区分性的低维度特征。这些都是在海量数据处理中非常实用的技术。

K均值(K-means)算法

K均值算法是数据聚类中最经典,也相对容易理解的模型。算法执行可以分层一下四个阶段:

  • 随机布设K个特征空间内的点作为初始的聚类中心;
  • 对每个数据的特征向量,从K个聚类中心中选择距离最近的一个,并把改数据标记为从属于这个聚类中心;
  • 在所有的数据都被标记过聚类中心后,根据这些数据被分配的类簇,重新对K个聚类中心做计算;
  • 如果一轮下来,所有的数据点从属的聚类中心与上一次的分配的类簇没有变化,那么迭代就可以停止,否则回到第二步继续循环。

主成分分析PCA

使用PCA进行降维的目的有两个:

  • 在实际项目中经常会有特征维度非常之高的训练样本,而往往又无法借助自己的领域知识人工地构建有效特征;
  • 在数据表现方面,我们无法用肉眼观测超过三个维度的特征,因此数据降维为数据的可视化提供了可能性。

问题引出

本文将继续使用对手写数字进行分类的数据,关于数据的相关内容可以参考我的另外一篇博客:sklearn实例-用支持向量机分类器(SVC)识别手写字体

代码实例

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from sklearn.cluster import KMeans
from sklearn.metrics import adjusted_rand_score, classification_report
from sklearn.decomposition import PCA
from sklearn.svm import LinearSVC

digits_train = pd.read_csv('https://archive.ics.uci.edu/ml/machine-learning-databases/'
                           'optdigits/optdigits.tra', header=None)
digits_test = pd.read_csv(
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值