关于迹、相关系数的矩阵变换推导

原创

已于 2025-05-21 10:44:22 修改 · 1.6k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#矩阵 #线性代数 #机器学习

于 2021-12-14 17:38:09 首次发布

本文探讨了矩阵D的相关矩阵C及其对角化矩阵P的关系，通过推导证明了公式(2tr[D^T(P-C)D]=sum_{i,j}

1. 问题

对于一个矩阵 $[d_1;d_2;\dots;d_n] \in R^{n \times l}$ , 其相关矩阵为 $\in R^{n \times n}$ , 是否有以下表达式成立(经第2部分推导， $基本成立，最正确的见式3\textcolor{red}{基本成立，最正确的见式3}$ ):
$tr[D(P-C)D^T] =\sum_{i,j} c_{ij} \|d_i-d_j\|^2 \tag 1$

$tr[D(P-C)D^T] = \sum_{i=1}^n \{ \frac{1}{2}\sum_{p,q}^lC_{pq}[d_ic_p-d_ic_q]^2 \} \tag 2$

其中C是对称矩阵， $P=diag(C×1n×1)∈Rn×nP=diag(C\times 1^{n \times 1}) \in R^{n \times n}$ 表示C按行累加形成的列向量，构成的对角矩阵。

2. 试着推导公式1

令
$D=\left[ \begin{matrix} d_{11} & d_{12} & \cdots & d_{1l} \\ d_{21} & d_{22} & \cdots & d_{2l} \\ \vdots & \vdots & \ddots & \vdots \\ d_{n1} & d_{n2} & \cdots & d_{nl} \\ \end{matrix} \right], C=\left[ \begin{matrix} 1 & c_{12} & \cdots & c_{1n} \\ c_{21} & 1 & \cdots & c_{2n} \\ \vdots & \vdots & \ddots & \vdots \\ c_{n1} & c_{n2} & \cdots & 1 \\ \end{matrix} \right]$
则
$D^T=\left[ \begin{matrix} d_{11} & d_{21} & \cdots & d_{n1} \\ d_{12} & d_{22} & \cdots & d_{n2} \\ \vdots & \vdots & \ddots & \vdots \\ d_{1l} & d_{2l} & \cdots & d_{nl} \\ \end{matrix} \right] ， \\ P=\left[ \begin{matrix} \sum_{j=1}^n c_{1j} & 0 & \cdots & 0 \\ 0 & \sum_{j=1}^n c_{2j} & \cdots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \cdots & \sum_{j=1}^n c_{nj} \\ \end{matrix} \right],\\$

从右侧开始：
$\sum_{i,j} c_{ij} \|d_i-d_j\|^2=\sum_{i,j} c_{ij} \|d_i-d_j\|_2^2 \\ =\sum_{i,j} c_{ij} \sum_{k=1}^l(d_{ik}-d_{jk})^2\\ =\sum_{i=1}^n \sum_{j=1}^n c_{ij} \sum_{k=1}^l(d_{ik}-d_{jk})^2\\$
左侧：
$tr[D(P-C)D^T] 无法直接运算，试着更正为：tr[D^T(P-C)D]$
则
$tr[D^T(P-C)D] \\ =tr[D^TPD-D^TCD] \\ =tr(D^TPD)-tr(D^TCD)\\$

$D^TP = \left[ \begin{matrix} d_{11} & d_{21} & \cdots & d_{n1} \\ d_{12} & d_{22} & \cdots & d_{n2} \\ \vdots & \vdots & \ddots & \vdots \\ d_{1l} & d_{2l} & \cdots & d_{nl} \\ \end{matrix} \right] \left[ \begin{matrix} \sum_{j=1}^n c_{1j} & 0 & \cdots & 0 \\ 0 & \sum_{j=1}^n c_{2j} & \cdots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \cdots & \sum_{j=1}^n c_{nj} \\ \end{matrix} \right] \\ =\left[ \begin{matrix} d_{11}\sum_{j=1}^n c_{1j} & d_{21}\sum_{j=1}^n c_{2j} & \cdots & d_{n1}\sum_{j=1}^n c_{nj} \\ d_{12}\sum_{j=1}^n c_{1j} & d_{22}\sum_{j=1}^n c_{2j} & \cdots & d_{n2}\sum_{j=1}^n c_{nj} \\ \vdots & \vdots & \ddots & \vdots \\ d_{1l}\sum_{j=1}^n c_{1j} & d_{2l}\sum_{j=1}^n c_{2j} & \cdots & d_{nl}\sum_{j=1}^n c_{nj} \\ \end{matrix} \right]$

最低0.47元/天解锁文章