机器学习——多维缩放MDS

---

以下内容均为个人理解，如有错误，欢迎指出

---

什么是多维缩放

多维缩放（Mutiple Dimensional Scaling）是一种经典的降维方法，是一种无监督算法，其目的是使降维后的数据之间的距离保持不变

推导过程

符号表

符号名	含义
$D$	m个样本在原始空间的距离矩阵
$x_i$	第i个样本的坐标，维度为d
$dis{t}_{ij}$	原始空间$x_i$到$x_j$之间的距离
$z_i$	第i个样本降维后的坐标，维度为$d^{\prime }$，其中$d^{\prime }<d$
$Z$	降维后的样本构成的矩阵，为$(z_1,z_2,....,z_m)$
$B$	为降维后样本的内积矩阵，即$B=Z^{T}Z$，其中$b_{ij}=z_i^T{z}_j$

使用上述符号，MDS的目标可以表示为$dis{t}_{ij}=||z_i-z_j||$，则有
$$dis{t}_{ij}^2=|z_i{|}^2+|z_j{|}^2-2z_i^T{z}_j=b_{ii}+b_{jj}-2b_{ij}$$降维前，我们先对所有的样本进行中心化，即所有样本的每一维数值减去该维的均值，则降维后的数据也满足中心化（这点可以自己算下，比较简单，这里省去），即${\sum }_{i=1}^m{z}_i=0$，则有
$$\begin{gathered} \sum _{i=1}^m{b}_{ij}=0（式1.0） \\ \sum _{j=1}^m{b}_{ij}=0（式1.1） \end{gathered}$$
现在我们有一个想法，如何用$D$中的元素表示$B$，如果我们求出$B$，然后进行矩阵的开平方操作，不就可以得到$Z$了吗？我们首先来看看如何用$D$中的元素表示$B$，依据式1.0和式1.1，我们有
$$\begin{array}{rl}& \sum _{i=1}^{m}dis{t}_{ij}^2=b_{11}+b_{22}+....+b_{mm}+m{b}_{jj}-2(b_{1j}+b_{2j}+...+b_{mj})=tr(B)+m{b}_{jj}（式1.2）\\ & \sum _{j=1}^{m}dis{t}_{ij}^2=b_{11}+b_{22}+....+b_{mm}+m{b}_{ii}-2(b_{i1}+b_{i2}+...+b_{im})=tr(B)+m{b}_{ii}（式1.3）\\ & \sum _{i=1}^m\sum _{j=1}^{m}dis{t}_{ij}^2=\sum _{i=1}^m(tr(B)+m{b}_{ii})=2mtr(B)（式1.4）\end{array}$$
$tr$称为矩阵的迹，即一个n×n矩阵A的主对角线（从左上方至右下方的对角线）上各个元素的总和被称为矩阵A的迹，令
$$\begin{gathered} dis{t}_{i.}^2=\frac{1}{m}\sum _{j=1}^{m}dis{t}_{ij}^2（式1.5） \\ dis{t}_{.j}^2=\frac{1}{m}\sum _{i=1}^{m}dis{t}_{ij}^2（式1.6） \\ dis{t}_{..}^2=\frac{1}{m^2}\sum _{i=1}^m\sum _{j=1}^{m}dis{t}_{ij}^2（式1.7） \end{gathered}$$
由式1.2到式1.7可得
$$b_{ij}=-\frac{1}{2}(dis{t}_{ij}^2-dis{t}_{i.}^2-dis{t}_{.j}^2+dis{t}_{..}^2)（式1.8）$$
我们来验算一下式1.8，则有
$$\begin{array}{rl}& -\frac{1}{2}(dis{t}_{ij}^2-dis{t}_{i.}^2-dis{t}_{.j}^2+dis{t}_{..}^2)\\ =& -\frac{1}{2}(b_{ii}+b_{jj}-2b_{ij}-\frac{1}{m}(2tr(B)+m{b}_{ii}+m{b}_{jj}-2tr(B)))\\ =& b_{ij}\end{array}$$
至此，我们可以用$D$中的元素表示$B$，接下来，由于$B=Z^{T}Z$，我们看看怎么求出$Z$，由于$B$是方阵，对$B$进行特征分解可得到$B=VD{V}^T$，其中，$D=diag({\lambda }_1,{\lambda }_2,....,{\lambda }_d)$，满足${\lambda }_1\ge {\lambda }_2\ge ...\ge {\lambda }_d$，$V$为特征向量矩阵，特征向量相互正交，则$Z$可表示为$Z=D^{\frac{1}{2}}{V}^T$（如何求解出来暂时不清楚），其中$D^{\frac{1}{2}}=diag({\sqrt{\lambda }}_1,{\sqrt{\lambda }}_2,.....,{\sqrt{\lambda }}_d)$，可以验算一下$Z^{T}Z$，就会发现其等于$B$

至此，MDS的推导就完成了，需要注意的是，在推导过程中，我们首先对所有数据维度进行了中心化，此时才能使用式1.8计算$B$