【机器学习笔记】无监督学习（K-means聚类 & 降维PCA）

首先，简单说明一下无监督学习：训练样本的标记信息未知， 目标是通过对无标记训练样本的学习来揭示数据的内在性质及规律，为进一步的数据分析提供基础，此类学习任务中研究最多、应用最广的是"聚类" (clustering)，聚类目的在于把相似的东西聚在一起，主要通过计算样本间和群体间距离得到。深度学习和PCA都属于无监督学习的范畴。

在之前的博客里有简单的说明监督学习与无监督学习的关系。

（一）K-means聚类

K-means是一种将输入数据划分成$k$个簇的简单的聚类算法。K-means反复提炼初始评估的类中心。K-means能够发现$K$个不同的簇，且每个簇的中心采用簇中所含值的均值计算而成。簇的个数$K$是我们自己定义的，每一个簇通过其质心，即该簇中所有点的中心来描述。

（1）K-means算法的原理

基本思想：对给定的样本集，事先确定聚类簇数$K$，让簇内的样本尽可能紧密分布在一起，使簇间的距离尽可能大。K-means算法试图使集群数据分为$n$组独立数据样本，使$n$组集群间的方差相等，试图使全部类内总方差最小。

在实际应用中可能会经过很多次迭代仍然达不到最优的聚类簇数（即，每次划分结果保持不变），甚至因为数据的关系，根本就达不到这个终止条件，实际应用中通常采用的方法是设置一个最大迭代次数，当达到最大迭代次数时，终止计算。

K-means试图使类内总方差最小：
$$V=\sum _{i=1}^k\sum _{x_j\in c_i}(x_j-{\mu }_i{)}^2$$ 其中，$x_j$是输入数据，并且是矢量。该算法是启发式提炼算法，在很多情形下都适用，但是不能保证得到最优的结果。为了避免初始化类中心时没选取好类中心初值所造成的影响，该算法通常会初始化不同的类中心进行多次运算，然后选择方差$V$最小的结果。

K-means算法的过程，如下图所示。

（2）K-Means算法的步骤

输入：样本集$\left\{x^{(1)},x^{(2)},\cdots ,x^{(m)}\right\}$，簇的数目$k$，最大迭代次数$N$。
输出：簇划分（$K$个簇，使平方误差最小）。

步骤如下：

1. 以随机或猜测的方式初始化聚类中心${\mu }_i，i=1,\cdots ,k$；
   （ps：采用随机的方法实现简单，但是簇的质量往往比较差，所以有好几种关于中心选取的解决方案，比如先使用层次聚类进行聚类，从层次聚类中提取K个簇，并用这些簇的质心作为初始质心。也有通过使类内总方差最小的方式，选择方差最小的类中心。）
2. 将每个数据点归并到离它距离最近的聚类中心所属的聚类$c^{(i)}\in 1,\cdots ,k$；
   （ps：常用的距离度量方法包括：欧几里得距离和余弦相似度。两者都是评定个体间差异的大小的。欧几里得距离度量会受指标不同单位刻度的影响，所以一般需要先进行标准化。余弦相似度倾向给出更优解。）【也称为“簇分配”】
   用下面这个公式计算，当前所属的簇的索引编号为：$$c^{(i)}=\underset{k}{\min }||x^{(i)}-{\mu }_k|{|}^2$$ 其中$x^{(i)}$表示无标签的样本点，${\mu }_k$表示簇中心。
3. 对所有属于该类的数据点求平均，将平均值作为新的聚类中心；【也称为“移动聚类中心”】
4. 重复步骤2. 和步骤3. 直到聚类中心不再发生变化或者达到最大迭代次数；
5. 输出最终的聚类中心和$K$个簇划分。

需要注意的是，计算的单位需要一致。如果K-Means聚类中选择欧几里德距离计算距离，数据集又出现了单位不一致的情况，就一定要进行数据的标准化(normalization)，就是将数据按比例缩放，使之落入一个小的特定区间。去除数据的单位限制，将其转化为无量纲的纯数值，便于不同单位或量级的指标能够进行计算和比较。

标准化（normalization）方法最常用的有两种形式：

• min-max标准化（离差标准化）：对原始数据进行线性变换，是结果落到$[0，1]$区，转换方法为：
  $$X^{\prime }=\frac{(X-min)}{(max-min)}$$其中max为样本数据最大值，min为样本数据最小值。
• z-score标准化（标准差标准化）：处理后的数据符合标准正态分布（均值为0，方差为1），转换公式：$$X^{\prime }=\frac{X-\mu }{\sqrt{\frac{1}{N}{\sum }_{i=1}^N(x_i-\mu {)}^2}}$$ 其中公式中数值$x_1$，$x_2$，$x_3$，…$x_N$(皆为实数)，平均值(算术平均值)为$\mu$。

（3）K-means算法的损失函数

损失函数变量的定义：

1. 假设有K个簇，$c^{(i)}$表示样本$x^{(i)}$当前所属的簇的索引编号，$c^{(i)}\in 1,2,\cdots ,k$。
2. ${\mu }_k$表示第$k$个聚类中心的位置，其中 $k\in 1,2,3,4...K$。
3. ${\mu }_{c(i)}$ 表示样本$x^{(i)}$所属簇的中心的位置坐标。

优化目标：
损失函数为每个样本到其所属簇的中心的距离和的平均值 ，优化函数的输入参数是每个样本所属的簇的编号$c^{(i)}$和每个簇中心的坐标${\mu }_k$， 这两个都是在聚类过程中不断变化的变量。损失函数也被称为畸变函数(Distortion function)。

根据上面的变量，K-means算法的损失函数公式为：$$J(c^{(1)},\cdots ,c^{(m)},{\mu }_1,\cdots ,{\mu }_K)=\frac{1}{m}\sum _{i=1}^m{\Vert x^{(i)}-{\mu }_{c^{(i)}}\Vert }^2$$

$$\underset{c^{(1)},\cdots ,c^{(m)},{\mu }_1,\cdots ,{\mu }_K}{\min }J(c^{(1)},\cdots ,c^{(m)},{\mu }_1,\cdots ,{\mu }_K)$$

• 对于K-means算法中的簇分配（将每个样本点分配到距离最近的簇） 的步骤实际上就是在最小化代价函数$J$，即在${\mu }_1,{\mu }_2,...,{\mu }_K$固定的条件下调整 $c^{(1)},c^{(2)},...,c^{(m)}$的值使得损失函数的值取到最小。
• 对于K-means算法中的 移动聚类中心（将聚类中心移动到分配样本簇的平均值处） ，即在$c^{(1)},c^{(2)},...,c^{(m)}$固定的条件下调整${\mu }_1,{\mu }_2,...,{\mu }_K$的值使得损失函数的值取到最小。

（4）K-means算法聚类中心的随机初始化

在运行 K-Means 算法之前，首先要随机初始化所有的聚类中心点，步骤如下：

1. 应该选择 $K<m$，即聚类中心点的个数要小于所有训练集实例的数量。
2. 随机选择 $K$ 个训练实例，然后令 $K$ 个聚类中心分别与这 $K$ 个训练实例相等。

随机初始化的局限性：
下面两种都是随机初始化后的结果，观察发现随机初始化容易把初始化聚类中心分到相近的样本中。这种初始化方式是有一定的局限性的。

K-means算法存在一个问题在于，它有可能会停留在一个局部最小值处，这往往取决于初始化的状态。如下图所示，图①属于随机初始化较好的聚类结果，而下面两个图则是随机初始化不好导致局部的最优解。

改进初始化方式——进行多次随机初始化：
为了解决这个问题，需要多次运行K-means算法，每一次都重新进行随机初始化，比较多次运行K-means的结果，最终选择损失函数最小的结果。例如，当$K$的值不大（2~10），可以循环100次，每次随机选$K$个聚类中心，计算其损失函数。最后选择一个代价值最小的分类方式。
但是这种方法在$K$ 较小（2~10）的时候是可行的，但是如果$K$ 较大，这么做也可能不会有明显地改善。（不同初始化方式得到的结果趋于一致）

（5）K-means算法聚类数K的选择

其实，在无监督算法中，没有所谓最好的选择聚类数的方法，往往是需要结合实际问题进行人工选择的。选择时需要考虑的是运行K-means算法聚类的动机是什么，才可以选择能最好服务于该问题的聚类数目。

通常，选择聚类数目时所使用的方法称为 “肘部法则”（第一种方法）。
这个方法的步骤是：改变聚类数$K$，然后进行聚类操作，并计算损失函数。如下图所示，绘制出来的图形存在拐点，该点即为推荐的聚类数。（观察发现，在拐点处以后的聚类数，随着数目的增大也不会对损失函数的下降带来很大的影响，因此通常选择拐点作为聚类数。）

但是，也会产生例外。如下图所示，损失函数随着$K$的增大平缓下降（即拐点不明显），此时通过肘部法则来选择聚类数$K$就不是一个很好的方法了。

第二种选择聚类数$K$值的方法是，看哪个聚类数目能更好地适应后续的目的。比如：市场分割、网络集群优化等，看下一步的操作提供的一些评价指标，来决定所选择的聚类数目。

例如，将T恤的尺码进行聚类，左图是将所有样本分成3类（S,M,L），右图将所有样本分成5类（XS,S,M,L,XL），两种聚类方式都是可行的。这两种聚类方式是根据用户的满意程度或者市场的销售额来决定最后的聚类数目。

（6）K-means算法的优缺点

优点：

1. 原理易懂，易于实现，可以并行计算，并且对于很多别的问题不需要任何调整就能够直接使用；
2. 当簇间的区别较明显时，聚类效果较好；
3. 算法的可解释度比较强。

缺点：

1. 当样本集规模大时，收敛速度会变慢；
2. 对孤立点数据敏感，少量噪声就会对平均值造成较大影响；
3. $K$的取值十分关键，对不同数据集，$K$选择没有参考性，需要大量实验。

（二）降维 & PCA

首先，说明一下降维与PCA的关系。

1. 降维，就是将数据由原来的$n$个特征缩减为$k$个特征（可能从$n$个里面直接选取$k$个，也可能根据这$n$个特征重新组合成$k$个特征）。降维起到数据压缩的作用（由于压缩，会导致数据的丢失）。
2. PCA（主成分分析法），属于降维的一种方法。 它的主要思想是：根据原始的$n$个特征（向量为$n$维），重新组合出$k$个特征，并且这$k$个特征能最大量度地涵盖原始的数据特征（也可能导致数据丢失）。有一个结论是：当某一维的方差越大时，它所包含的信息量也越大，说明它越重要；反之，则相反。PCA的主要工作是重构出$k$个特征，使其所包含的信息量最大。

（1）降维

提问：为什么需要降维？作用是什么？
解释：

1. 实际应用中的数据一般是高维的，对于高维的数据很难有直观的认识，如果把数据的维度降低到二维或者三维，并且保证数据点的关系与原高维空间里的关系保持不变或近似，就可以进行可视化，用肉眼来观察数据。数据经过降维以后，如果保留了原有数据的主要信息，那么就可以用降维的数据进行机器学习模型的训练与预测，时间效率也大大增加。
   
2. 进行降维操作，第一个作用是压缩数据，减少数据量（可能会丢失一定的信息量），使用较少的计算机内存或者磁盘空间；第二个作用是加快学习算法的效率；第三个作用是数据的可视化， 以便对数据进行观察和探索。

下面举两个例子来说明降维的作用。
第一个例子，数据压缩，将数据从二维降到一维。如下图所示，将平面上（二维）的点映射到一条直线或向量上（一维），其丢失的信息量就是：每个点到直线上的距离。因为降维之后，就认为所有点都在直线上了。

以及 数据从三维降至二维。 如下图所示，将空间上的点投影到一个平面上。

需要注意的是，这两个例子都选取了与原始数据尽可能“接近”的直线或平面，使得其保存下来的信息量是最大的。

这样的降维处理可以用于把任何维度的数据降至任何想要的维度，比如说可以把1000维度的数据降至100维。

第二个例子是，说明降维对数据的可视化起到的作用。在许多学习问题中，如果能够将数据可视化，那么便能找到一种更好的解决方案，降维则是帮助解决问题的一种手段。

假设有许多不同国家的数据，每一个特征向量都有50个特征（比如，GDP、人均GDP、平均寿命等等）。如果要将这50维的数据进行可视化是不可能的，那么就需要通过降维的方法将其降至二维，就可以可视化这些数据了，如下图所示（分别是降至二维的结果与二维数据可视化的结果）。


这样做的问题在于降维算法只负责减少维数，而新产生的特征的意义就需要自己去发现了。

（2）PCA算法推导

主成分分析（Principe component analysis，PCA）是一种广泛应用于不同领域的无监督线性数据转换技术，作用是降维。

PCA的目标：
是在高维数据中找到最大方差的方向，并将数据映射到一个维度不大于原始数据的新的子空间上。PCA可以基于特征之间的关系识别出数据内在模式。

PCA的基本思想：

• 去除平均值
• 计算协方差矩阵
• 计算协方差矩阵的特征值和特征向量
• 将特征值排序
• 保留前N个最大的特征值对应的特征向量
• 将数据转换到上面得到的N个特征向量构建的新空间中（实现了特征压缩）

PCA的原理：

1. 找出第一个主成分的方向，也就是数据方差最大的方向。
2. 找出第二个主成分的方向，也就是数据方差次大的方向，并且该方向与第一个主成分方向正交(orthogonal， 如果是二维空间就叫垂直)。
3. 通过这种方式计算出所有的主成分方向。
4. 通过数据集的协方差矩阵及其特征值分析，我们就可以得到这些主成分的值。
5. 一旦得到了协方差矩阵的特征值和特征向量，我们就可以保留最大的 N 个特征。这些特征向量也给出了 N 个最重要特征的真实结构，我们就可以通过将数据乘上这 N 个特征向量 从而将它转换到新的空间上。

PCA的原理推导：

1. 最大方差理论（PCA的理论基础）
   

在信号处理中，通常认为信号具有较大的方差而噪声具有较小的方差，信号与噪声之比称为信噪比，信噪比越大意味着数据质量也就越好。在上图中，样本在$x^{\prime }$的投影方差较大，在$y^{\prime }$的投影方差较小，认为纵轴（$y^{\prime }$轴）上的投影是由噪声引起的。

因此，认为最好的$k$维特征是将$n$维样本点转换为$k$维后，每一维上的样本方差都很大，故投影方向就可以确定为样本数据方差最大的方向。对于高维的数据来说，投影方向要选择多个，按照最大方差理论，第一个投影方向为方差最大的方向，第二个方向为方差次大的方向，第三个……，直到已经选择的投影方向的数量满足需求。如果按照这种方式去选择，会存在一个问题，就是这些维度之间是近似线性相关的，可以从集合中的坐标系去理解。显然，由它们所组成的坐标系的夹角很小，这样不能完全表征数据的所有特征，为了让任意两个维度能够尽可能多的表征数据的特征，需要选择独立的维度。

举一个例子，假设现在要将一个具有五维的数据降至三维：
首先，找到方差最大的方向，选择此方向作为第一个维度；
然后，在与第一步确定的方向正交的方向上，找到方差最大的作为第二个维度；
最后，在与第一步和第二步所选择方向正交的方向上，找到方差最大的作为第三个维度。 这样将五维的数据降维至三维。

在高维度的空间中，就需要通过代数的方法来依次寻找这些坐标轴的方向，第一坐标轴方向就是第一主成分的方向（首次找到方差最大的方向），第二坐标轴方向就是第二主成分的方向，以此类推，使得原始数据在新的坐标轴上对应每一个特征的方差是逐渐减少的，丢掉一些方差很小的主成分方向上的坐标，就完成了PCA计算。

2. PCA的数学推导

第一步：构建线性变换

提问：为什么需要对样本进行线性变换呢？
解释：线性变换的过程应用在这里，需要从几何角度的两个方面进行理解。第一，是重新确定单位基向量，第二，是原始样本集所表示的向量在新的单位基向量上投影。
$$\left[\begin{array}{c}{y}_1\\ y_2\\ ⋮\\ y_p\end{array}\right]=\left[\begin{array}{cccc}{u}_{11}& u_{12}& \cdots & u_{1p}\\ u_{21}& u_{22}& \cdots & u_{2p}\\ ⋮& ⋮& ⋮& ⋮\\ u_{p1}& u_{p2}& \cdots & u_{pp}\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_p\end{array}\right]\cdots \cdots ①$$ 1）. 重新确定单位基向量：如上式矩阵中的每一行即为重新确定的单位基向量（p维），类比于上图的二维平面，就是确定图中的$x^{\prime }$和$y^{\prime }$。
2）. 原始样本集所表示的向量在新的单位基向量上投影：如上式中$y_1$,$y_2$到$y_p$，就是数据原始样本集中的每一个样本分别在1）.中所确定的单位基向量上投影所得到的由重新确定的单位基向量所组成的坐标系下的向量每个维度的坐标值。

通过表达式①可以表述上面的1）.和2）.，而1）.中重新确定的基向量符合方差最大的要求，那么如何使得其满足方差最大的要求呢？答案在第二步（求解最大方差）中。
假设原始样本数据维度是$p$，则可以写为$X=(x_1,x_2,\cdots ,x_p{)}^T$，这里$X$表示某一样本数据。又假设样本集中有$N$个样本，则样本集的均值、方差分别为：$$\mu =E(X)=\frac{X_1+X_2+\cdots +X_N}{N}\cdots \cdots ②$$ $$\Sigma =\frac{1}{N-1}(X-\mu )(X-\mu {)}^T\cdots \cdots ③$$ 对原始样本进行如下线性变换：$$\begin{array}{c}{y}_1=u_{11}{x}_1+u_{12}{x}_2+\cdots +u_{1p}{x}_p=u_1^{T}X\\ y_2=u_{21}{x}_1+u_{22}{x}_2+\cdots +u_{2p}{x}_p=u_2^{T}X\\ \cdots \cdots \\ y_p=u_{p1}{x}_1+u_{p2}{x}_2+\cdots +u_{pp}{x}_p=u_p^{T}X\end{array}\cdots \cdots ④$$ 同时给出上述线性变换的矩阵形式（即公式①） $$\left[\begin{array}{c}{y}_1\\ y_2\\ ⋮\\ y_p\end{array}\right]=\left[\begin{array}{cccc}{u}_{11}& u_{12}& \cdots & u_{1p}\\ u_{21}& u_{22}& \cdots & u_{2p}\\ ⋮& ⋮& ⋮& ⋮\\ u_{p1}& u_{p2}& \cdots & u_{pp}\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_p\end{array}\right]\cdots \cdots ①$$

第二步：求解最大方差
新的数据$Y=(y_1,y_2,\cdots ,y_p{)}^T$的方差与协方差满足下面的公式：$$\begin{array}{cc}Var(y_i)=u_i^T\Sigma u_i& i=1,2,3,\cdots ,p\end{array}\cdots \cdots ⑤$$ $$\begin{array}{cc}Cov(y_i,y_j)=u_i^T\Sigma u_j& i,j=1,2,3,\cdots ,p,(i不等于j)\end{array}\cdots \cdots ⑥$$ 假如希望$y_1$的方差达到最大，则该问题是一个约束优化的问题（二次优化问题）形式如下：$$\begin{array}{cc}max& u^T\Sigma u\\ s.t.& u^{T}u=1\end{array}\cdots \cdots ⑦$$ 其中，这里的$u$表示的新坐标系下的基向量（即公式①中矩阵的每一行元素组成），限制条件为 $u^{T}u=1$ 是为了使得基向量是单位向量，即长度为1。

关于二次型在约束条件下的极值问题（即求解公式⑦）有如下定理，即在 $u^{T}u=1$
的条件下，一般二次型$Q(x)=x^T\Lambda x$ 的最大、最小值的求法：
定理1：
假设$\Lambda$是对称矩阵，令$m=min\left\{x^T\Lambda x:\Vert x\Vert =1\right\}$，$M=max\left\{x^T\Lambda x:\Vert x\Vert =1\right\}$，那么$M$是$\Lambda$的最大特征值${\lambda }_1$，$m$是$\Lambda$的最小特征值，如果$x$是对应$M$的单位特征向量$u_1$，那么$x^T\Lambda x$的值为$M$，如果$x$是对应$m$的单位特征向量，$x^T\Lambda x$的值为$m$。
定理2：
假设$\Lambda$，${\lambda }_1$和$u_1$如定理1所示，在条件 $x^{T}x=1$ 和
$x^T{u}_1=0$ 的限制下，$x^T\Lambda x$最大值是第二大特征值${\lambda }_2$，且这个最大值，可以在对应${\lambda }_2$的特征向量$u_1$处取到。
推论：
假设$\Lambda$是一个$n\ast n$的对称矩阵，且其正交对角化为$\Lambda =PD{P}^{-1}$，将对话矩阵$D$上的元素重新排列，使得${\lambda }_1\ge {\lambda }_2\ge \cdots \ge {\lambda }_n$，而且$P$的列是其对应的单位特征向量$u_1,u_2,\cdots ,u_n$，那么对$k-2,\cdots ,n$时，在条件$x^{T}x=1$
,$x^T{u}_1=0$,$\cdots ,x^T{u}_k=0$的限制下，$x^T\Lambda x$的最大特征值${\lambda }_k$，且这个最大值可以在$x=u_k$取到。

由上面公式①~⑦的推导过程可以知道求解最大方差的问题转换为求解协方差矩阵$\Sigma$的特征值与特征向量。

假设$u_1$是$\Sigma$最大特征值（设为${\lambda }_1$）的特征向量，此时$y_1$为第一主成分，类似的希望$y_2$的方差达到最大，并要求$Cov(y_1,y_2)=0$，由于$u_1$是${\lambda }_1$的特征向量，所以选择的$u_2$应该与$u_1$正交，类似于前面的推导，$u_2$是$\Sigma$的第二大特征值（设为${\lambda }_2$）的特征向量，称$y_2$为第二主成分，以此类推得到后面的主成分。

（3）PCA降维步骤

由上面原理推导可知，求解数据集的主成分的过程就是求解样本集协方差矩阵的特征值与特征向量的过程。

下面结合例子来进行说明PCA降维的步骤。

给定一组数据集： Z = { z 1 , z 2 , z 3 , . . . . . . , z n } Z=\left \{z_{1},z_{2},z_{3},......,z_{n}\right \} Z={z1​,z2​,z3​,......,zn​}，
$z$是一个列向量，每个$z$代表一个特征，这里是$n$个特征，$z$向量的长度代表样本个数。

假设数据集为：$$Z=\left(\begin{array}{c}{Z}_1\\ Z_2\end{array}\right)=\left(\begin{array}{ccccc}1& 1& 2& 4& 2\\ 1& 3& 3& 4& 4\end{array}\right)$$ 其中，$\left(\begin{array}{c}1\\ 1\end{array}\right)$ 属于样本1，$\left(\begin{array}{c}1\\ 3\end{array}\right)$ 属于样本2，以此类推，共有五个样本。

第一步，将样本数据中心化或者均值归一化（为了简化计算，非必需）

求出每个特征的均值：$${\mu }_i=\frac{1}{n}\sum _{i=1}^n{z}_i$$
然后，数据减去均值后为： X = { z 1 − μ 1 , z 2 − μ 2 , . . . . . . , z n − μ n } X=\left\{z_{1}-\mu _{1},z_{2}-\mu _{2},......,z_{n}-\mu _{n}\right \} X={z1​−μ1​,z2​−μ2​,......,zn​−μn​}

每个特征的均值为：$$\begin{array}{cc}\overline{Z_1}=2& \overline{Z_2}=3\end{array}$$
去均值后的矩阵为：$$X=\left(\begin{array}{c}{X}_1\\ X_2\end{array}\right)=\left(\begin{array}{ccccc}-1& -1& 0& 2& 0\\ -2& 0& 0& 1& 1\end{array}\right)$$

第二步，计算样本数据的协方差矩阵

协方差矩阵公式为：$$\Sigma =\frac{1}{m-1}\sum _{i=1}^m{x}^{(i)}{x}^{(i{)}^T}$$ 则有
$$\Sigma =\frac{1}{m-1}X{X}^T=\frac{1}{4}\left(\begin{array}{ccccc}-1& -1& 0& 2& 0\\ -2& 0& 0& 1& 1\end{array}\right)\left(\begin{array}{cc}-1& -2\\ -1& 0\\ 0& 0\\ 2& 1\\ 0& 1\end{array}\right)=\left(\begin{array}{cc}\frac{3}{2}& 1\\ 1& \frac{3}{2}\end{array}\right)$$

第三步，求出协方差矩阵的特征值与正交单位特征向量

特征值：${\lambda }_1=\frac{1}{2}$，对应的特征向量为：${\mu }_1=\left(\begin{array}{c}-\frac{1}{\sqrt{2}}\\ \frac{1}{\sqrt{2}}\end{array}\right)$

特征值：${\lambda }_2=\frac{5}{2}$，对应的特征向量为：${\mu }_2=\left(\begin{array}{c}\frac{1}{\sqrt{2}}\\ \frac{1}{\sqrt{2}}\end{array}\right)$

第四步，将特征向量按对应特征值大小从上到下按行排列成矩阵，取前k行组成矩阵P
（或者，取最大的$d$个特征值所对应的特征向量${\mu }_1,{\mu }_2,...,{\mu }_d$）

$$P=\left(\begin{array}{cc}\frac{1}{\sqrt{2}}& -\frac{1}{\sqrt{2}}\\ \frac{1}{\sqrt{2}}& \frac{1}{\sqrt{2}}\end{array}\right)$$
取${\lambda }_2=\frac{5}{2}$为最大的特征值，对应的${\mu }_2=\left(\begin{array}{c}\frac{1}{\sqrt{2}}\\ \frac{1}{\sqrt{2}}\end{array}\right)$为最大的特征向量。

第五步，对上述的协方差矩阵对角化，最后输出的投影矩阵$W=({\mu }_1,{\mu }_2,...,{\mu }_d)$

$$P^T\sum P=\left(\begin{array}{cc}\frac{1}{\sqrt{2}}& \frac{1}{\sqrt{2}}\\ -\frac{1}{\sqrt{2}}& \frac{1}{\sqrt{2}}\end{array}\right)\cdot \left(\begin{array}{cc}\frac{3}{2}& 1\\ 1& \frac{3}{2}\end{array}\right)\cdot \left(\begin{array}{cc}\frac{1}{\sqrt{2}}& -\frac{1}{\sqrt{2}}\\ \frac{1}{\sqrt{2}}& \frac{1}{\sqrt{2}}\end{array}\right)=\left(\begin{array}{cc}\frac{1}{2}& 0\\ 0& \frac{5}{2}\end{array}\right)$$
最大特征值为${\lambda }_1=\frac{1}{2}$，对应的特征向量为${\mu }_1=\left(\begin{array}{c}-\frac{1}{\sqrt{2}}\\ \frac{1}{\sqrt{2}}\end{array}\right)$，故第一主成分为：$$y_1=\left(\begin{array}{cc}-\frac{1}{\sqrt{2}},& \frac{1}{\sqrt{2}}\end{array}\right)\left(\begin{array}{ccccc}-1& -1& 0& 2& 0\\ -2& 0& 0& 1& 1\end{array}\right)=\left(\begin{array}{ccccc}-\frac{1}{\sqrt{2}}& \frac{1}{\sqrt{2}}& 0& -\frac{1}{\sqrt{2}}& \frac{1}{\sqrt{2}}\end{array}\right)$$

第二大特征值为${\lambda }_2=\frac{5}{2}$，对应的特征向量为${\mu }_2=\left(\begin{array}{c}\frac{1}{\sqrt{2}}\\ \frac{1}{\sqrt{2}}\end{array}\right)$，故第二主成分为：$$y_2=\left(\begin{array}{cc}\frac{1}{\sqrt{2}},& \frac{1}{\sqrt{2}}\end{array}\right)\left(\begin{array}{ccccc}-1& -1& 0& 2& 0\\ -2& 0& 0& 1& 1\end{array}\right)=\left(\begin{array}{ccccc}-\frac{3}{\sqrt{2}}& -\frac{1}{\sqrt{2}}& 0& \frac{3}{\sqrt{2}}& -\frac{1}{\sqrt{2}}\end{array}\right)$$

得到投影矩阵为$W=({\mu }_2)$，即可以将样本点$X$投影到$W$平面，其投影是$Y$：
$$Y=W^{T}X=\left(\begin{array}{cc}\frac{1}{\sqrt{2}},& \frac{1}{\sqrt{2}}\end{array}\right)\left(\begin{array}{ccccc}-1& -1& 0& 2& 0\\ -2& 0& 0& 1& 1\end{array}\right)=\left(\begin{array}{ccccc}-\frac{3}{\sqrt{2}}& -\frac{1}{\sqrt{2}}& 0& \frac{3}{\sqrt{2}}& -\frac{1}{\sqrt{2}}\end{array}\right)$$

补充知识
线性代数中定理：对于任意$n$阶实对称矩阵$A$，必然存在$n$阶正交矩阵$P$，使得 $P^{-1}AP=P^{T}AP=diag({\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_n)$，其中${\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_n$为$A$的全部特征值；矩阵$P$为列向量组为$A$的$n$个标准正交的特征向量。
参考博文

这里就产生了一个疑问，压缩后，是否可以再还原数据呢？ 答案是可以的，只是压缩时丢失的那部分数据找不回了，不能完全的恢复数据，只能够近似的还原数据。
重构数据的方式如下：$$z_{approx}^{(i)}=U_{reduce}\ast x_i$$ 其中，$z_{approx}^{(i)}\approx z$

说明： 上面使用的符号与下面图片中使用的符号是相反的，即图中使用$X$代表原始数据集，$Z$代表变换后的数据集，而上述步骤使用$Z$表示原始数据，$X$代表变换后的数据。
由图像可知：重构后，所有的点后落在了直线上，所以丢失的数据即为原始点与直线的距离。

（4）如何选取维数K

一般来说，K越小越好，K越小表明压缩的程度越高，但同时又要保证保留足够多的数据量。所以，选取最小的K，需要满足下面的条件：

1. 均方投影误差为：$\frac{1}{m}{\sum }_{i=1}^m{\Vert x^{(i)}-x_{approx}^{(i)}\Vert }^2$

2. 训练集的方差为：$\frac{1}{m}{\sum }_{i=1}^m{\Vert x^{(i)}\Vert }^2$

3. 比值计算为： $$\frac{\frac{1}{m}{\sum }_{i=1}^m{\Vert x^{(i)}-x_{approx}^{(i)}\Vert }^2}{\frac{1}{m}{\sum }_{i=1}^m{\Vert x^{(i)}\Vert }^2}\le 0.01(可变值)$$

希望在均方投影误差与训练集方差的比例尽可能小的情况下选择尽可能小的值。若是这个比例小于1%，就意味着原本数据的偏差有99%都保留下来了；若是这个比例小于5%，那么原始数据的偏差有95%都被保留下来。

以下为其求解过程：

首先可以先令$k=1$，然后进行PCA降维，获得$U_{reduce},z^{(1)},...,z^{(m)},x_{approx}^{(1)},...,x_{approx}^{(m)}$，代入比值公式，计算比例是否小于1%，如果不是的话，再令$k=2$，依次计算，直到找到使得比例小于1%的最小$k$值。
（原因是各个特征之间通常情况存在某种相关性）。

还可以通过另一种方法进行求解（称为方法二）： $$\frac{\frac{1}{m}{\sum }_{i=1}^m{\Vert x^{(i)}-x_{approx}^{(i)}\Vert }^2}{\frac{1}{m}{\sum }_{i=1}^m{\Vert x^{(i)}\Vert }^2}=1-\frac{{\sum }_{i=1}^m{S}_{ii}}{{\sum }_{i=1}^k{S}_{ii}}\le 0.01(可变值)$$
也即$$\frac{{\sum }_{i=1}^k{S}_{ii}}{{\sum }_{i=1}^m{S}_{ii}}\ge 0.99$$ 该公式也说明有99%的数据被保留下来。

（5）PCA的作用

PCA的作用（即降维的作用）

1. 可以减少内存空间
2. 可以对算法进行提速
3. 可以用于数据可视化

PCA的优缺点
优点：

1. 降维使得原始数据的维度减少，能够降低在训练过程中的消耗，提高学习效率；
2. PCA丢掉的原始数据信息，如果这些恰好是噪声，那就给运算结果带来了好处；
3. 丢失原始数据的一些信息，与提高机器学习算法运算效率相比，是影响比较小的。

缺点：

1. 若丢失的信息是比较重要的，那就不适合用PCA算法了；
2. PCA 分析得到的主成分意义不明确，不具有可解释性。

需要注意的是，在进行降维之前，要先做数据预处理，通常要去均值，有时还需要将进行数据标准化（即，数据的方差结果处理为1）。

（6）使用PCA的注意事项

需要注意的是，PCA降维只在训练集上使用。如果有交叉验证集和测试集，也采用对训练集学习而来的$U_{reduce}$。

提问：既然PCA那么好用，是不是就可以随便使用呢？
解释：这是不可以的，PCA是个辅助工具，使用与否，从功能上来说并没有太大的区别，主要的区别在于学习算法的效率。比如说，在使用线性回归或逻辑回归时，若运算时间很长或者占用内存过大，就需要利用PCA来提升一下算法的性能；若直接运行时效果比较好，那么就不需要使用PCA。

错误使用PCA的情况：

1. 将PCA用于减少过拟合情况。这样做并不能正确处理过拟合的情况，是由于PCA只是近似地丢掉一些特征，没有考虑任何与结果变量有关的信息，因此可能会丢掉非常重要的特征。当产生过拟合情况时，可以使用正则化处理，这种方法会考虑结果变量，不会丢掉重要的信息。
2. 默认将PCA作为机器学习过程的一部分。PCA虽在很多时候起到很好的效果，但是不一定将PCA作为学习的一部分，只需要在运算时间过长或者占用过多的内存时，才考虑使用PCA。