机器学习进阶（五）聚类

聚类

1. 聚类就是对大量未知标注的数据集（无监督），按数据的内在相似性将数据集划分为多个类别，使类别内的数据相似度较大而类别间的数据相似度较小。
2. 可用于降维
3. 给定一个有N个对象的数据集，构造数据的k个簇，$k\le n$。
   条件：每一个簇至少包含一个对象；每一个对象属于且仅属于一个簇将满足上述条件的k个簇称作一个合理划分。
   基本思想：对于给定的类别数目k，首先给出初始划分，通过迭代改变样本和簇的隶属关系，使得每一次改进之后的划分方案都较前一次好

距离、相似度

$$\begin{array}{rl}& \text{ 闵可夫斯基距离Minkowski}\mathrm{dis}t(X,Y)={\left(\sum _{i=1}^n{\left|x_i-y_i\right|}^p\right)}^{\frac{1}{p}}(p=1曼哈顿距离;p=2欧氏距离;p=\infty 最大分量）\\ & \text{ 杰卡德相似系数(Jaccard) }J(A,B)=\frac{|A\cap B|}{|A\cup B|}\\ & \text{余弦相似度(cosine similarity) }\cos (\theta )=\frac{a^{T}b}{|a|\cdot |b|}\\ & \text{ Pearson相似系数 }{\rho }_{xx}=\frac{\mathrm{cov}(X,Y)}{{\sigma }_x{\sigma }_r}=\frac{E\left[\left(X-{\mu }_x\right)\left(Y-{\mu }_r\right)\right]}{{\sigma }_x{\sigma }_r}=\frac{{\sum }_{i=1}^n\left(x_i-{\mu }_x\right)\left(x_i-{\mu }_r\right)}{\sqrt{{\sum }_{i=1}^n{\left(x_i-{\mu }_x\right)}^2}\sqrt{{\sum }_{i=1}^n{\left(y_i-{\mu }_r\right)}^2}}{\mu }_x={\mu }_y=0时，等价于余弦相似度\\ & \text{ 相对熵K-L散度}D(p\Vert q)=\sum _{x}p(x)\log \frac{p(x)}{q(x)}=E_{p(x)}\log \frac{p(x)}{q(x)}\\ & \text{ Hellinger距离}{D}_{\alpha }(p\Vert q)=\frac{2}{1-{\alpha }^2}\left(1-\int p(x{)}^{\frac{1+\alpha }{2}}q(x{)}^{\frac{1-\alpha }{2}}dx\right)\alpha =0时，满足三角不等式，对称非负性\end{array}$$

k-Means算法

也被称为k-平均或k-均值，是一种广泛使用的聚类算法，或者成为其他聚类算法的基础。
step1：假定输入样本为$S=x_1,x_2,...,x_m$，
step2：选择初始的k个类别中心${\mu }_1,{\mu }_2\dots {\mu }_k$
step3：对于每个样本$x_i$，将其标记为距离类别中心最近的类别，即：:将每个类别中心更新为隶属该类别的所有样本的均值
step4：重复最后两步，直到类别中心的变化小于某阈值。

note:

1. 中止条件：迭代次数/簇中心变化率/最小平方误差MSE(MinimumSquaredError)
2. 若簇中含有异常点，将导致均值偏离严重，可改为K-Mediods
3. 初值敏感（可用分值推荐来做K-Means++，优化初始聚类的中心选取的方式）
   

极大似然角度

假设分为$K$个簇$C_1,\dots ,C_K$，每个簇服从$N({\mu }_k,{\sigma }^2)$，对于样本点$x_i$属于簇k的概率为$$exp(-\frac{x_i-{\mu }_k}{{\sigma }^2})$$样本$x_i$属于$C_k$记为$c_{ik}$，取值为0或1.
从而极大似然函数为
$$\prod _{i=1}^n\prod _{k=1}^K{\left(\exp -\frac{(x_i-{\mu }_k{)}^2}{{\sigma }^2}\right)}^{c_{ik}}$$
极大化对数似然函数可转化为损失函数
$$\underset{c_{ik},{\mu }_1,\dots ,{\mu }_k}{\max }-\sum _{i=1}^n\sum _{k=1}^K{c}_{ik}(x_i-{\mu }_k{)}^2\to J({\mu }_1,\dots ,{\mu }_k)=\underset{c_{ik},{\mu }_1,\dots ,{\mu }_k}{\min }\frac{1}{2}\sum _{j=1}^K\sum _{i=1}^{N_j}(x_i-{\mu }_j{)}^2$$
对于${\mu }_1,\dots ,{\mu }_k$求偏导，其驻点为$$\frac{\partial J}{\partial {\mu }_j}=\sum _{i=1}^{N_j}(x_i-{\mu }_j)\to 0{\mu }_j=\frac{1}{N_j}\sum _{i=1}^{N_j}{x}_i$$

实际上，k-means我们认为每个簇服从高斯分布，且每个高斯分布的方差相等。

K-Means++的步骤

step1：从数据集中随机选取一个点作为初始聚类的中心 ${\mu }_i$
step2：计算每个样本 $x_i$与已有聚类中心点的距离，用$D(x_i)$表示；然后计算每个样本被选为下一个聚类中心点的概率 $\frac{D(x_i)}{{\sum }_{j}D(x_j)}$ ，之后通过轮盘法选出下一个聚类中心点
step3：重复步骤二直到选择出 K 个聚类中心点（当K值大于2时，每个样本和多个聚类中心进行计算，就会有多个距离，需要取最小的那个距离作为 $D(x)$）

mini batch k-means步骤

step1：从数据集中随机抽取一些数据形成小批量，把他们分配给最近的质心
step2：对该小批量数据，计算平均值得到更新质心
step3：重复迭代次数直到质心稳定或者达到指定的迭代次数，停止计算
Mini Batch K-Means比K-Means有更快的收敛速度，但同时也降低了聚类的效果（实际效果降低不明显）

Canopy算法

Canopy算法是一种快速地聚类技术，Canopy聚类算法是可以并行运行的算法。只需一次遍历数据科技得到结果，无法给出精确的簇结果，但能给出最优的簇数量。得到 k 值后再使用 K-means 进行进一步“细”聚类。
note:

1. Canopy 聚类最大的特点是不需要事先指定 k 值( 即 clustering 的个数)。
2. canopy算法需要选择两个距离阈值：$T_1$(the loose distance)和$T_2$(the tight distance)

步骤

step1：从数据集中任取一个样本，将其设为一个新的 ‘canopy’，并将其从待聚类的数据集中删除.
step2：对于剩下的数据集中，任取一个样本，用低计算成本方法快速计算该点与所有Canopy之间的距离。若该样本与某个Canopy距离在$T_1$以内，则加入到这个Canopy，进一步若距离在$T_2$以内，则需要把样本从待聚类的数据集中删除。
step3：重复第二步，直到待聚类数据集中没有样本。

聚类的衡量指标

均一性 Homogeneity和完整性 Completeness

同质性和完整性是基于条件熵的互信息分数来衡量簇向量间的相似度
$$h=\{\begin{array}{cc}1& \text{ if }H(C)=0\\ 1-\frac{H(C\mid K)}{H(C)}& \text{ otherwise }\end{array}$$
$$c=\{\begin{array}{cc}1& \text{ if }H(K)=0\\ 1-\frac{H(K\mid C)}{H(K)}& \text{ otherwise }\end{array}$$

V-measure

V-measure是结合同质性和完整性两个因素来评价簇向量间的相似度，V-measure为1表示最优的相似度：

$$V_{\beta }=\frac{(1+{\beta }^2)h\cdot c}{{\beta }^{2}h+c}$$

RI（兰德系数）

对于每一顶点对 ，在某种划分下，可能落在同一社区（cluster），也可能落在不同的社区。a指两个划分中，顶点对的两定点落在同一个社区的数量，b指两个划分中，顶点对的两两定点落在不同社区的对数。RI是衡量两个簇类的相似度，假设样本个数是n，定义：
$$RI=\frac{a+b}{C_2^n}$$

随着聚类数的增加，随机分配簇类向量的RI也逐渐增加，这是不符合理论的，随机分配簇类标记向量的RI应为0。

ARI（调整兰德系数）

解决了RI不能很好的描述随机分配簇类标记向量的相似度问题
$$ARI=\frac{RI-E(RI)}{\max RI-E(RI)}=\frac{{\sum }_{i,j}{C}_{n_{ij}}^2-\left[\left({\sum }_i{C}_{a_i}^2\right)\cdot \left({\sum }_j{C}_{b_j}^2\right)\right]/C_n^2}{\frac{1}{2}\left[\left({\sum }_i{C}_{a_i}^2\right)+\left({\sum }_j{C}_{b_j}^2\right)\right]-\left[\left({\sum }_i{C}_{a_i}^2\right)\cdot \left({\sum }_j{C}_{b_j}^2\right)\right]/C_n^2}$$
note:
1）ARI的取值范围为[-1,1]，ARI越大表示预测簇向量和真实簇向量相似度越高，,ARI接近于0表示簇向量是随机分配，ARI为负数表示非常差的预测簇向量；
2）对于任意的簇类数和样本数，随机分配标签的ARI分数接近于0；
3）可用于评估无假设簇类结构的性能度量，如比较通过谱聚类降维后的k均值聚类算法的性能

AMI

AMI是基于预测簇向量与真实簇向量的互信息分数来衡量其相似度的，AMI越大相似度越高，AMI接近于0表示簇向量是随机分配的。
$$MI(X,Y)=\sum _{i=1}^r\sum _{j=1}^{s}P(i,j)\log \frac{P(i,j)}{P(i)P(j)}$$
其中，$P(i)={\sum }_{j=1}^{s}P(i,j),P(j)={\sum }_{i=1}^{s}P(i,j),P(i,j)=\frac{n_{ij}}{n}$
正则化互信息为
$$NMI(X,Y)=\frac{MI(X,Y)}{\sqrt{H(X)H(Y)}}$$

MI（互信息指数）和NMI（标准化的互信息指数）不符合簇向量随机分配的理论，即随着分配簇的个数增加，MI和NMI亦会趋向于增加，AMI的值一直接近于0。。
A M I ( X , Y ) = M I ( X , Y ) − E [ M I ( X , Y ) ] max ⁡ { H ( X ) , H ( Y ) } − E [ M I ( X , Y ) ] ( 这 个 期 望 该 咋 求 ？ ) AMI(X, Y)=\frac{M I(X, Y)-E[M I(X, Y)]}{\max \{H(X), H(Y)\}-E[M I(X, Y)]}(这个期望该咋求？) AMI(X,Y)=max{H(X),H(Y)}−E[MI(X,Y)]MI(X,Y)−E[MI(X,Y)]​(这个期望该咋求？)

轮廓系数

1. 计算样本$i$到同簇其他样本的平均距离$a_i$。$a_i$越小，说明样本$i$越应该被聚类到该簇。
   将$a_i$称为样本$i$的簇内不相似度。
   簇C中所有样本的$a_i$均值称为簇C的簇不相似度。
2. 计算样本$i$到其他某簇$C_j$的所有样本的平均距离$b_{ij}$。$b_{ij}$越大，说明样本$i$越不属于簇$C_j$。
   将$b_{ij}$称为样本$i$与簇$C_j$的不相似度。定义为样本$i$的簇间不相似度 b i = min ⁡ { b i 1 , b i 2 , … , b i k } b_i=\min\{b_{i1},b_{i2},\dots,b_{ik}\} bi​=min{bi1​,bi2​,…,bik​},$b_i$越大，说明样本$i$越不属于其他簇。
3. 根据样本$i$的簇内不相似度$a_i$和簇间不相似度$b_i$，定义样本$i$的轮廓系数
   $$s(i)=\frac{b_i-a_i}{\max (a_i,b_i)}$$

$$s(i)=\{\begin{array}{cc}1-\frac{a_i}{b_i}& if{a}_i<b_i\\ 0& if{a}_i=b_i\\ \frac{b_i}{a_i}-1& if{a}_i>b_i\end{array}$$
s(i)接近0，说明在簇边界，s(i)接近1，样本$i$聚类合理，s(i)接近-1，样本$i$聚类不合理，应该分到另外簇。
所有样本的s(i)均值为该聚类的轮廓系数。

层次聚类方法

层次聚类方法对给定的数据集进行层次的分解，直到某种条件满足为止。可分为凝聚的层次聚类和分裂的层次聚类。

凝聚的层次聚类：AGNES算法

一种自底向上的策略。
step1：算法最初将每个对象作为一个簇
step2：这些簇根据某些准则被一步步地合并。两个簇间的距离由这两个不同簇中距离最近的数据点对的相似度来确定
step3：聚类的合并过程反复进行直到所有的对象最终满足簇的数量

AGNES中簇间距离的不同定义	说明	缺点
最小距离prime	两个集合中最近的两个样本的距离	容易形成链状结构
最大距离complete	两个集合中最远的两个样本的距离	若存在异常值则不稳定
平均距离average	两个集合中样本间两两距离的平均值average
平方和距离	两个集合中样本间两两距离的平方和ward

分裂的层次聚类：DIANA算法

采用自顶向下的策略。
step1：算法最初将每个对象作为一个簇
step2：根据一些原则(比如最大的欧式距离)，将该簇分类。
step3：直到到达用户指定的簇的数量或者两个簇之间的距离超过了某个阈值。

度聚类方法

密度聚类方法的指导思想是，只要样本点的密度大于某阈值，则将该样本添加到最近的簇中。

• 优点：这类算法能克服基于距离的算法只能发现“类圆形”(凸)的聚类的缺点，可发现任意形状的聚类，且对噪声数据不敏感。
• 缺点：计算密度单元的计算复杂度大，需要建立空间索引来降低计算量。

DBSCAN（Density-Based Spatial Clustering of Applications with Noise)

一个比较有代表性的基于密度的聚类算法。与划分和层次聚类方法不同，它将簇定义为密度相连的点的最大集合，能够把具有足够高密度的区域划分为簇，并可在有“噪声”的数据中发现任意形状的聚类。

概念	说明
对象的$ϵ$-邻域	给定对象在半径$ϵ$内的区域。
核心对象	对于给定的数目m，如果一个对象的$ϵ$-邻域至少包含m个对象，则称该对象为核心对象。
直接密度可达	给定一个对象集合D，如果p是在q的ε-邻域内，且q是一个核心对象，则对象p从对象q出发是直接密度可达的。
密度可达	如果存在一个对象链$p_1{p}_2\dots p_n，p_1=q，p_n=p$，对$\forall p_i\in D，(1\le i<n)，p_{i+1}$是从$p_i$（核心对象）关于$ϵ$和$m$直接密度可达的，则对象p是从对象q关于ε和m密度可达的。
密度相连	如果对象集合D中存在一个对象o，使得对象p和q是从o关于$ϵ$和m密度可达的，那么对象p和q是关于ε和m密度相连的。
簇	一个基于密度的簇是最大的密度相连对象的集合。
噪声	不包含在任何簇中的对象称为噪声

步骤：
step1：如果一个点p的ε-邻域包含多于m个对象，则创建一个p作为核心对象的新簇
step2：寻找+合并核心对象直接密度可达的核心对象
step3：没有新点可以更新簇时，算法结束。
在边界上的点，属于哪个簇关系不大

密度最大值算法

名称	局部密度
截断值	${\rho }_i={\sum }_j{\delta }_{(d_{ij}-d_c)}$，$d_c$是一个截断距离，到对象$i$的距离小于$d_c$
高斯核相似度	ρ i = ∑ j ∈ I s \ { i } exp ⁡ − ( d i j d c ) 2 ， \rho_i=\sum_{j\in I_s \backslash\{i\}} \exp{-(\frac{d_{ij}}{d_c})^2}， ρi​=∑j∈Is​\{i}​exp−(dc​dij​​)2，d_c$是一个截断距离，到对象$i$的距离小于$d_c$$
K近邻均值	${\rho }_i=\frac{1}{K}{\sum }_{j=1}^k{d}_{ij}$,其中$d_{i1}<d_{i2}<\cdots <d_{iK}$（应该有错，去倒数？）

高局部密度点距离：$${\delta }_i=\underset{j:{\rho }_j>{\rho }_i}{\min }(d_{ij})$$

1. 在密度高于对象$i$的所有对象中，到对象$i$最近的距离的点，两者之间的距离，即高局部密度点距离。
2. 只有那些密度是局部或者全局最大的点才会有远大于正常值的高局部密度点距离。

簇中心识别	解释
${\rho }_i$大，${\delta }_i$大	簇的中心
${\rho }_i$小，${\delta }_i$大	异常点

步骤：

1. 识别簇中心
2. 为每个簇定义一个边界区域(borderregion)
   划分给该簇，但距离其他簇的点的距离小于$d_c$的点的集合。然后为每个簇找到其边界区域的局部密度最大的点，令其局部密度为${\rho }_h$
3. 该簇中所有局部密度大于${\rho }_h$的点被认为是簇核心的一部分(即将该点划分给该类簇的可靠性很大)。
   其余的点被认为是该类簇的光晕(halo)，即可以认为是噪声。

也可根据该方法得到的簇中心，结合其他方法聚类

Affinity Propagation

基本思想： 认为样本$i$的聚类性质是由$i$对$j$吸引力和$j$对$i$归属性决定的$(\forall j\ne i)$。

1. 将全部样本看作网络的节点，然后通过网络中各条边的消息传递计算出各样本的聚类中心。
2. 聚类过程中，共有两种消息在各节点间传递，分别是吸引度( responsibility)和归属度(availability) 。
3. AP算法通过迭代过程不断更新每一个点的吸引度和归属度值，直到产生m个高质量的Exemplar（类似于质心），同时将其余的数据点分配到相应的聚类中。

概念	解释	设置
Exempla（聚类中心）	类似K-Means中的质心。
Similarity（相似度）	点$j$作为点$i$的聚类中心的能力，记为$S(i,j)$。	一般使用负的欧式距离，表示两个点距离越近，相似度也就越高。
Preference	指点$i$作为聚类中心的参考度(不能为0)，取值为$S$对角线的值，此值越大，最为聚类中心的可能性就越大。	由于对角线的值为0，需要重新设置对角线的值，可以根据实际情况设置不同的值，也可设置成同一值。一般设置为S相似度值的中值。
Responsibility（吸引度）	$r(i,k)$用来描述点$k$适合作为数据点$i$的聚类中心的程度
Availability(归属度)	$a(i,k)$用来描述点$i$选择点$k$作为其聚类中心的适合程度。
Damping factor(阻尼系数)	主要是起收敛作用的。

reference和Damping factor需要手动设定，前者定了成为聚类中心的可能性；后者控制算法收敛效果。

步骤：

1. 算法初始, 将吸引度矩阵$R$和归属度矩阵$A$初始化为0矩阵
2. 更新吸引度矩阵
   r t + 1 ( i , k ) = { S ( i , k ) − max ⁡ j ≠ k { a t ( i , j ) + r t ( i , j ) } , i ≠ k S ( i , k ) − max ⁡ j ≠ k { S ( i , j ) } , i = k r_{t+1}(i, k)=\left\{\begin{array}{l} S(i, k)-\max _{j \neq k}\left\{a_{t}(i, j)+r_{t}(i, j)\right\}, i \neq k \\ S(i, k)-\max _{j \neq k}\{S(i, j)\}, i=k \end{array}\right. rt+1​(i,k)={S(i,k)−maxj​=k​{at​(i,j)+rt​(i,j)},i​=kS(i,k)−maxj​=k​{S(i,j)},i=k​
   (主体是样本$k$，求$k$对$i$的吸引度，
   $i\ne k,$即$i,k$之间的相似度$-$($i$归属其他样本的程度+其他样本对$i$的吸引)的最大值
   $i=k$,即$i$为聚类中心的参考度$-i$与其他点之间的相似度，是个定值？)
3. 更新归属度矩阵
   a t + 1 ( i , k ) = { min ⁡ { 0 , r t + 1 ( k , k ) + ∑ j ≠ i , k max ⁡ { r t + 1 ( j , k ) , 0 } } , i ≠ k ∑ j ≠ k max ⁡ { r t + 1 ( j , k ) , 0 } , i = k a_{t+1}(i, k)=\left\{\begin{array}{l} \min \left\{0, r_{t+1}(k, k)+\sum_{j \neq i, k} \max \left\{r_{t+1}(j, k), 0\right\}\right\}, i \neq k \\ \sum_{j \neq k} \max \left\{r_{t+1}(j, k), 0\right\}, i=k \end{array}\right. at+1​(i,k)={min{0,rt+1​(k,k)+∑j​=i,k​max{rt+1​(j,k),0}},i​=k∑j​=k​max{rt+1​(j,k),0},i=k​
   (主体是样本$i$，求$i$归属$k$的程度，
   i ≠ k , min ⁡ { 0 , r t + 1 ( k , k ) + max ⁡ { k i\neq k,\min \{0, r_{t+1}(k, k)+\max \{k i​=k,min{0,rt+1​(k,k)+max{k对其他点的吸引程度,0$\}\}$求和
   i = k , max ⁡ { i i=k,\max \{i i=k,max{i对其他点吸引程度,0$\}$求和
4. 根据衰减系数 $\lambda$ 对两个公式进行衰减
   $$\begin{array}{rl}{r}_{t+1}(i,k)& =\lambda \ast r_t(i,k)+(1-\lambda )\ast r_{t+1}(i,k)\\ a_{t+1}(i,k)& =\lambda \ast a_t(i,k)+(1-\lambda )\ast a_{t+1}(i,k)\end{array}$$
5. 重复步骤2, 3,4 直至矩阵稳定或者达到最大迭代次数，算法结束。
6. 最终取$a(k,k)+r(k,k)$最大的k作为聚类中心。

优点：

1. 无需指定聚类“数量”参数。这使得先验经验成为应用的非必需条件。
2. 明确的质心（聚类中心点）。样本中的所有数据点都可能成为AP算法中的质心，叫做Examplar（不是由多个数据点求平均而得到的聚类中心，如K-Means）。
3. 对距离矩阵的对称性没要求。AP通过输入相似度矩阵来启动算法，因此允许数据呈非对称，数据适用范围非常大。
4. 初始值不敏感。多次执行AP聚类算法，得到的结果是完全一样的，即不需要进行随机选取初值步骤（对比K-Means初值敏感）。
5. 若以误差平方和来衡量算法间的优劣，AP聚类比其他方法的误差平方和都要低。（无论k-center clustering重复多少次，都达不到AP那么低的误差平方和）

缺点：

1. AP聚类应用中需要手动指定Preference和Damping factor，这其实是原有的聚类“数量”控制的变体。
2. 算法较慢。由于AP算法复杂度较高$(O(k{n}^2))$，运行时间相对K-Means长，这会使得尤其在海量数据下运行时耗费的时间很多。

谱和谱聚类

pre knowledge:

1. 实对称阵不同特征值的特征向量正交实对称阵的特征值是实数
2. 方阵作为线性算子，它的所有特征值的全体统称方阵的谱。
   方阵的谱半径为最大的特征值
   矩阵A的谱半径：$A^{T}A$的最大特征值
3. 谱聚类是一种基于图论的聚类方法，通过对样本数据的拉普拉斯矩阵的特征向量进行聚类，从而达到对样本数据聚类的目的。
4. 对于无向图$G(E,V)$邻接矩阵$W=(w_{ij}{)}_{n\times n}$，顶点的度$d_i={\sum }_{j=1}^n{w}_{ij}$，度矩阵为$D=diag(d_1,\dots ,d_n)$，未正则的拉普拉斯矩阵：$L=D-W$。
   以上均为对称矩阵，$L$为半正定矩阵，最小特征值为0.
5. 正则拉普拉斯矩阵 ：
   对称拉普拉斯矩阵：$L_{sym}=D^{-\frac{1}{2}}L{D}^{-\frac{1}{2}}=I-D^{-\frac{1}{2}}W{D}^{-\frac{1}{2}}$
   随机游走拉普拉斯矩阵$L_{rw}=D^{-1}L=I-D^{-1}W$
6. k的确定，可用$k=\underset{k}{\mathrm{argmax}}|{\lambda }_{k+1}-{\lambda }_k|$

基本思想：
给定一组数据$x_1,x_2,...x_n$，记任意两个点之间的相似度为$s_{ij}=<x_i,x_j>$，形成相似度图(similaritygraph)：$$G=(V,E).$$
如果$x_i$和$x_j$之间的相似度$s_{ij}$大于一定的阈值，那么，两个点是连接的，权值记做$s_{ij}$。

相似度图G的建立方法

先构建样本之间的相似度，可用欧氏距离倒数，多项式核函数，高斯核函数和Sigmoid核函数等,一般用高斯核函数。

1. ϵ-邻近法
   设置一个距离阈值ϵ，
   $$w_{ij}=w_{ji}=\{\begin{array}{ll}0,& ϵ>s_{ij}\\ ϵ,& ϵ<s_{ij}\end{array}$$

2. K邻近法
   第一种K邻近法是只要一个点在另一个点的K近邻中，则保留 $s_{ij}$
   $$w_{ij}=w_{ji}=\{\begin{array}{ll}0& x_i\notin knn(x_j)and{x}_j\notin knn(x_i)\\ \exp \left(-\frac{{\Vert x_i-x_j\Vert }_2^2}{2{\sigma }^2}\right)& x_i\in knn(x_j)or{x}_j\in knn(x_i)\end{array}$$
   第二种K邻近法是必须两个点互为K近邻中，才能保留 $s_{ij}$
   $$w_{ij}=w_{ji}=\{\begin{array}{ll}0& \notin knn(x_j)or{x}_j\notin knn(x_i)\\ \exp \left(-\frac{\Vert x_i-xj\mid 2}{2{\sigma }^2}\right)& x_i{x}_i\in knn(x_j)and{x}_j\in knn(x_i)\end{array}$$

3. 全连接法。
   所有的点之间的权重值都大于0， 因此称之为全连接法。
   $$w_{ij}=w_{ji}=\exp \left(-\frac{{\Vert x_i-x_j\Vert }_2^2}{2{\sigma }^2}\right)$$

连接方式	特点
$ϵ$近邻法	不同密度的数据群，往往无法连接
K近邻	可以解决数据存在不同密度时有些无法连接的问题
互K近邻	趋向于连接相同密度的部分，而不连接不同密度的部分。这种性质介于ε近邻图和k近邻图之间。如果需要聚类不同的密度，这个性质非常有用。
全连接	建立的矩阵不是稀疏的

谱聚类算法步骤

未正则化的拉普拉斯矩阵和随机游走的拉普拉斯矩阵：

1. 输入对应矩阵$L$或$L_{rw}$
2. 计算$L$($L_{rw}$)的前k个特征向量$u_1,u_2,\dots ,u_k$
3. 将k个列向量 $u_1,u_2,\dots ,u_k$组成矩阵$U\in {\mathrm{R}}^{n\times k}$;
4. 对于$i=1,2,...,n$，令$y_i\in R_k$是$U$的第$i$行的向量
5. 使用K-Means算法将点$y_i$聚成$C_1,C_2,\dots C_k$

对称的拉普拉斯矩阵：

1. 输入对应矩阵$L_{sym}$
2. 计算$L_{sym}$的前k个特征向量$u_1,u_2,\dots ,u_k$
3. 将k个列向量 $u_1,u_2,\dots ,u_k$组成矩阵$U\in {\mathrm{R}}^{n\times k}$;
4. 对于$i=1,2,...,n$，令$y_i\in R_k$是$U$的第$i$行的向量
5. 对于$i=1,2,...,n$，令$y_i\in R_k$依次单位化，使得$|y_i|=1$
6. 使用K-Means算法将点$y_i$聚成$C_1,C_2,\dots C_k$

取前k个特征向量的具体原因可见链接中的RatioCut切图。
大致思想如下：

1. 先定义图cut$$cut(A_1,\dots ,A_k)=\frac{1}{2}\sum _{i=1}^{k}W\left(A_i,{\bar{A}}_i\right)$$
   最小化cut的方式，仅考虑簇之间的连接权重和来聚类，会导致簇大的很大，小的很小

2. RatioCut切图为了避免这种情况，加入考虑最大化每个子图点的个数, 即:
   $$\mathrm{RatioCut}\left(A_1,A_2,\dots A_k\right)=\frac{1}{2}\sum _{i=1}^k\frac{W\left(A_i,{\bar{A}}_i\right)}{\left|A_i\right|}$$

3. 引入指示向量 h j ∈ { h 1 , h 2 , … h k } j = 1 , 2 , … k h_{j} \in\left\{h_{1}, h_{2}, \ldots h_{k}\right\} j=1,2, \ldots k hj​∈{h1​,h2​,…hk​}j=1,2,…k, 对于任意一个向量 $h_j$, 它是一个n维向量 $($ n为样本数 $)$
   $$h_{ij}=\{\begin{array}{ll}0& v_i\notin A_j\\ \frac{1}{\sqrt{|A_j|}}& v_i\in A_j\end{array}$$
   可以看出样本$i$属于簇$A_j$时，$h_{ij}$才不为0，每个向量$h_j$的分量可以看做是每个样本$i$对于簇$A_j$的属性值（这个想法很重要，后续聚类的前提假设就是这！）

4. 那么我们对于 $h_i^{T}L{h}_i$,有:
   $$\begin{array}{r}{h}_i^{T}L{h}_i=\frac{\mathrm{cut}\left(A_i,{\bar{A}}_i\right)}{\left|A_i\right|}\end{array}$$
   从而k个子图对应的RatioCut函数表达式为:
   $$\text{ RatioCut }\left(A_1,A_2,\dots A_k\right)=\sum _{i=1}^k{h}_i^{T}L{h}_i=\sum _{i=1}^k{\left(H^{T}LH\right)}_{ii}=\mathrm{tr}\left(H^{T}LH\right)$$

5. 注意到$H^{T}H=I$, 则切图优化目标 为:
   $$\underset{H}{\underbrace{\arg \min }}\mathrm{tr}\left(H^{T}LH\right)\text{ s.t. }{H}^{T}H=I$$

6. 放宽对向量$h_j$每个分量的限制，只保证两两正交，并取其为单位向量。由于$h_i^{T}L{h}_i$ 的最小值是L的最小特征值，则$H$就是$L$的k个最小的特征值对应的特征向量。

7. 从$h_j$的设定，可以看出每个向量$h_j$的分量可以看做是每个样本$i$对于簇$A_j$的属性值，从每一行即为样本的新特征。

Ncut切图和RatioCut切图很类似，但是把Ratiocut的分母|Ai|换成vol(Ai)，从而$H^{T}H\ne I$,而是$H^{T}DH=I$，相应做变换即可。

随机游走和拉普拉斯矩阵

1. 图论中的随机游走是一个随机过程，它从一个顶点跳转到另外一个顶点。
2. 谱聚类即找到图的一个划分，使得随机游走在相同的簇中停留而几乎不会游走到其他簇。
3. 转移矩阵：从顶点$v_i$跳转到顶点$v_j$的概率正比于边的权值$w_{ij}$
   $$w_{ij}=\frac{w_{ij}}{d_i},P=D^{-1}W$$

标签传递算法Label Propagation Algorithm,LPA

核心思想：相似的数据应该具有相同的label。
LP算法两大步骤：1）构造相似矩阵$W$；2）概率化传播

传播步骤：参考链接

1. 定义概率转移矩阵$$P=p_{ij}=P(i\to j)=\frac{w_{ij}}{{\sum }_j{w}_{ij}}$$
2. 定义一个$L\times C$的label矩阵$Y_L$，其中$C$为类别数量和$L$为labeled的样本数量。每行为样本的标签指示向量，$$y_{ij}=\{\begin{array}{ll}0& i\notin C_j\\ 1& i\in C_j\end{array}$$
3. 同样，定义一个$U\times C$的unlabel矩阵$Y_U$，随机设置初始值。
4. 合并$Y_L,Y_U$，得到一个$N\times C$的soft label矩阵
   $$F=\left[\begin{array}{l}{Y}_L\\ Y_U\end{array}\right].$$
   softlabel：保留样本$i$属于每个类别的概率，而不是互斥性的
5. 执行传播：$$F=P^{T}F$$
6. 重置F中labeled样本的标签：$F_L=Y_L$
7. 重复步骤5和6直到$F$收敛。

Mean Shift算法

基本思想
Mean Shift算法是一个迭代的步骤，即先算出当前点的偏移均值，将该点移动到此偏移均值，然后以此为新的起始点，继续移动，直到满足最终的条件。移动的过程不是真正移动元素，而是把该元素与它整个移动过程的元素标记为同一类。

步骤：

1. 在未被标记的数据点中随机选择一个点作为center，以此为中心找出距离点center在$bandwidth$之内的所有点(以center为中心的一个高维球域$S_h$)。
2. 计算点$i$到集合$M$中每个元素的向量，并相加取平均：$$M_h(center)=\frac{1}{k}\sum _{x_i\in S_h}|x_i-center|$$
3. 新的数据点中心center为$$center\leftarrow center+M_h(center)$$
4. 重复步骤2、3，直到$|M_h(center)|$很小，即收敛，记录center。这个迭代过程中遇到的点都应该归类为一个簇$C_i$，并对这些点关于簇$C_i$的属性+1（初始值均为0）。
   若当前簇$C_j$的center与已经存在的簇$C_i$的center距离小于阈值，则对$C_j$中的点关于$C_i$的属性+1，同时把两者合并为一簇.否则，把$C_j$作为新簇，对这些点关于$C_j$的属性+1。
5. 重复1、2、3、4直到所有的点都被标记访问。
6. 分类：根据每个点各簇属性值，取大（簇访问频率高）的作为当前点的所属类。

引入了核函数和权重的改进：
对Mean Shift向量进行了优化
$$M_h(x)=\frac{{\sum }_{i=1}^n{G}_H\left(x_i-x\right)w\left(x_i\right)\left(x_i-x\right)}{{\sum }_{i=1}^n{G}_H\left(x_i-x\right)w\left(x_i\right)}$$
其中:
$$G_H\left(x_i-x\right)=|H{|}^{-\frac{1}{2}}G\left(H^{-\frac{1}{2}}\left(x_i-x\right)\right)$$
$G(x)$ 是一个单位的核函数。 $H$ 是一个正定的对称 $d\times d$ 矩阵, 称为带宽矩阵, 其是一个对角阵。 $w\left(x_i\right)⩾0$ 是每一个样本的权重。对角阵$H$的形式为:
$$H={\left(\begin{array}{cccc}{h}_1^2& 0& \cdots & 0\\ 0& h_2^2& \cdots & 0\\ ⋮& ⋮& & ⋮\\ 0& 0& \cdots & h_d^2\end{array}\right)}_{d\times d}$$
从而上述的Mean Shift向量可以改写成:
$$\frac{{\sum }_{i=1}^{n}G\left(\frac{x_i-x}{h_i}\right)w\left(x_i\right)\left(x_i-x\right)}{{\sum }_{i=1}^{n}G\left(\frac{x_i-x}{h_i}\right)w\left(x_i\right)}$$