线性代数 · SVD | 导数

原创已于 2025-10-03 15:29:36 修改 · 920 阅读

9 ·

CC 4.0 BY-SA版权

文章标签：

#SVD | 导数

于 2025-10-03 15:29:06 首次发布

mathematics 专栏收录该内容

191 篇文章

订阅专栏

注：本文为 “线性代数 · SVD | 导数” 相关英文引文，机翻未校。

Singular value decomposition derivatives

奇异值分解的导数

Published Nov 10, 2023

The singular value decomposition (SVD) is a matrix decomposition that is used in many applications. It is defined as:
奇异值分解（Singular Value Decomposition, SVD）是一种在众多领域中均有应用的矩阵分解方法，其定义如下：

$\begin{align*} J &= U \Sigma V^T \end{align*}$

where $U$ and $V$ are orthogonal matrices and $\Sigma$ is a diagonal matrix with non-negative entries. The diagonal entries of $\Sigma$ are called the singular values of $J$ and are denoted as $\sigma_1,\dots,\sigma_n$ . The singular values are the square roots of the eigenvalues of $J^TJ$ . In this post we’re going to go over how to differentiate the elements of the SVD under the assumption that the singular values are all distinct and non-zero.
其中， $U$ 和 $V$ 为正交矩阵， $\Sigma$ 为对角元非负的对角矩阵。 $\Sigma$ 的对角元被称为矩阵 $J$ 的奇异值，记为 $\sigma_1,\dots,\sigma_n$ 。奇异值是矩阵 $J^TJ$ 特征值的平方根。本文将在“所有奇异值互不相同且非零”的假设下，详细推导奇异值分解各元素的导数。

Einstein notation

爱因斯坦求和符号

Before proceeding, we need to understand Einstein notation. Einstein notation is an alternative way of writing matrix equations where we undo the matrix notation and remove the summation symbol. For example, lets write the equation $A x = b$ in Einstein notation.
在进行后续推导前，需先理解爱因斯坦求和符号（Einstein notation）。该符号是矩阵方程的一种替代表示方法，核心是“拆解矩阵形式并省略求和符号”。以方程 $A x = b$ 为例，其爱因斯坦求和符号表示过程如下：

Step 1: Undo the matrix notation 拆解矩阵形式
$\to \sum_j J_{ij}x_j = b_i$
Step 2: Remove the summation symbol 省略求和符号
$\sum_j J_{ij}x_j = b_i \to J_{ij}x_j = b_i$

And thats it! All we did was remove the summation symbol. When we see Einstein notation in practice, we implicitly assume that there is a summation over indices that only appear on one side of the equality. Also in Einstein notation, we will make use of the Kronecker delta function $\delta_{ij}$ which is $1$ when $i = j$ and $0$ otherwise.
推导至此即可！整个过程的核心就是省略求和符号。在实际使用爱因斯坦求和符号时，我们默认：对“仅在等式一侧出现的指标”进行求和（即“哑标求和”规则）。此外，爱因斯坦求和符号中还会用到克罗内克δ函数（Kronecker delta function） $\delta_{ij}$ ，其定义为：当 $i = j$ 时， $\delta_{ij}=1$ ；当 $\neq j$ 时， $\delta_{ij}=0$ 。

Orthogonal matrices

正交矩阵

Next, we need to know how to differentiate orthogonal matrices. Let $Q$ be an orthogonal matrix, then by definition $Q_{ki}Q_{kj} = \delta_{ij}$ . Taking the derivative yields:
接下来，需推导正交矩阵的导数。设 $Q$ 为正交矩阵，根据正交矩阵的定义，有 $Q_{ki}Q_{kj} = \delta_{ij}$ 。对等式两侧求导可得：

$\begin{align*} \partial (Q_{ki}Q_{kj}) &= \partial \delta_{ij} \\ \implies \partial Q_{ki} Q_{kj} + Q_{ki} \partial Q_{kj} &= 0 \\ \implies \partial Q_{ki} Q_{kj} &= -Q_{ki} \partial Q_{kj} \\ \end{align*}$

To make this equations clearer, we can undo some of the Einstein notation by letting $q_i:= Q_{:,i}$ be the $i$ th column of $Q$ . Then we have:
为使等式更清晰，可部分还原爱因斯坦求和符号的矩阵形式：令 $q_i := Q_{:,i}$ （即 $q_i$ 为矩阵 $Q$ 的第 $i$ 列），此时等式可改写为：

$\begin{align*} \partial q_i \cdot q_j = -\partial q_j \cdot q_i \end{align*}$

Note that when $i = j$ , $\partial q_i \cdot q_i = 0$ . This will be useful when we differentiate the SVD.
需注意，当 $i = j$ 时，有 $\partial q_i \cdot q_i = 0$ 。该结论在后续奇异值分解的求导过程中会发挥重要作用。

Singular value decomposition derivatives

奇异值分解的导数

Lets start by writing the SVD using Einstein notation
首先，用爱因斯坦求和符号表示奇异值分解：

$\begin{align*} J_{ij} &= U_{iu} \sigma_u V_{ju} \\ \end{align*}$

with some term rearrangement, we can write two equations:
通过调整项的顺序，可得到以下两个等式：

$\begin{align*} J_{ij}U_{iu} &= \sigma_u V_{ju} \\ J_{ij}V_{ju} &= \sigma_u U_{iu} \end{align*}$

by applying a derivative, we get
对上述两个等式两侧分别求导，可得：

$\begin{align*} \partial J_{ij}U_{iu} + J_{ij}\partial U_{iu} &= \partial \sigma_u V_{ju} + \sigma_u \partial V_{ju} \\ \partial J_{ij}V_{ju} + J_{ij}\partial V_{ju} &= \partial \sigma_u U_{iu} + \sigma_u \partial U_{iu} \end{align*}$

We’ll call the first equation, equation 1 and the second equation, equation 2.
我们将第一个等式称为“等式 1”，第二个等式称为“等式 2”。

Singular value derivaties

奇异值的导数

To get the derivatives of the singular values, we can multiply both sides of equation 2 by $U_{iu}$ and summing over $i$ :
为推导奇异值的导数，可将等式 2 两侧同时乘以 $U_{iu}$ ，并对指标 $i$ 求和：

$\begin{align*} \partial J_{ij}V_{ju} U_{iu} + \underbrace{J_{ij}\partial V_{ju} U_{iu}}_{\sigma_u V_{ju} \partial V_{ju}=0} &= \partial \sigma_u \underbrace{U_{iu} U_{iu}}_{1} + \sigma_u \underbrace{\partial U_{iu} U_{iu}}_{0} \\ \implies \partial \sigma_u &= \partial J_{ij}U_{iu} V_{ju} \end{align*}$

注：推导中用到两个结论：

由 $J_{ij}V_{ju} = \sigma_u U_{iu}$ 得 $J_{ij}\partial V_{ju} U_{iu} = \sigma_u V_{ju} \partial V_{ju}$ ，再结合正交矩阵求导结论 $\partial V_{ju} V_{ju}=0$ ，故该项为 0；
正交矩阵列向量单位性： $U_{iu} U_{iu}=1$ ，且 $\partial U_{iu} U_{iu}=0$ ）

Singular vector derivatives

奇异向量的导数

Next, to isolate the derivatives of the singular vecotrs, we’ll first multiply both sides of equation 1 by $V_{jv}$ , where $\neq u$ and sum over $j$ :
接下来推导奇异向量的导数。首先，将等式 1 两侧同时乘以 $V_{jv}$ （其中 $\neq u$ ），并对指标 $j$ 求和：

$\begin{align*} \partial J_{ij}U_{iu} V_{jv} + \underbrace{J_{ij}\partial U_{iu} V_{jv}}_{\sigma_v \partial U_{iu} U_{iv}} &= \partial \sigma_u \underbrace{V_{ju} V_{jv}}_{0} + \sigma_u \partial V_{ju} V_{jv} \\ \partial J_{ij}U_{iu} V_{jv} &= -\sigma_v \partial U_{iu} U_{iv} + \sigma_u \partial V_{ju} V_{jv} \end{align*}$

注：

由 $J_{ij}V_{jv} = \sigma_v U_{iv}$ 得 $J_{ij}\partial U_{iu} V_{jv} = \sigma_v \partial U_{iu} U_{iv}$ ；
正交矩阵列向量正交性： $V_{ju} V_{jv}=0$ （因 $\neq u$ ））

Similarly we can do the same with equation 2 but multiply by $U_{iv}$ where $v\neq u$ and sum over $i$ :
类似地，对等式 2 进行操作：将其两侧同时乘以 $U_{iv}$ （其中 $\neq u$ ），并对指标 $i$ 求和：

$\begin{align*} \partial J_{ij}V_{ju} U_{iv} + \underbrace{J_{ij}\partial V_{ju} U_{iv}}_{\sigma_v \partial V_{ju} V_{jv}} &= \partial \sigma_u \underbrace{U_{iu} U_{iv}}_{0} + \sigma_u \partial U_{iu} U_{iv} \\ \partial J_{ij}U_{iv} V_{ju} &= \sigma_u \partial U_{iu} U_{iv} - \sigma_v \partial V_{ju} V_{jv} \end{align*}$

注：

由 $J_{ij}U_{iv} = \sigma_v V_{jv}$ 得 $J_{ij}\partial V_{ju} U_{iv} = \sigma_v \partial V_{ju} V_{jv}$ ；
正交矩阵列向量正交性： $U_{iu} U_{iv}=0$ （因 $\neq u$ ））

So we’re left with the equation
综上，可得到如下方程组：

$\begin{align*} \partial J_{ij}U_{iu} V_{jv} &= -\sigma_v \partial U_{iu} U_{iv} + \sigma_u \partial V_{ju} V_{jv} \\ \partial J_{ij}U_{iv} V_{ju} &= \sigma_u \partial U_{iu} U_{iv} - \sigma_v \partial V_{ju} V_{jv} \end{align*}$

Left singular vectors

左奇异向量

Lets multiply the above equations by $\sigma_v$ and $\sigma_u$ respectively:
将上述方程组的第一个等式乘以 $\sigma_v$ ，第二个等式乘以 $\sigma_u$ ，可得：

$\begin{align*} \sigma_v \partial J_{ij}U_{iu} V_{jv} &= -{\sigma_v}^2 \partial U_{iu} U_{iv} + \sigma_v \sigma_u \partial V_{ju} V_{jv} \\ \sigma_u \partial J_{ij}U_{iv} V_{ju} &= {\sigma_u}^2 \partial U_{iu} U_{iv} - \sigma_v \sigma_u \partial V_{ju} V_{jv} \end{align*}$

If we sum the equations, the last terms cancel and we’re left with
将两个等式相加，右侧的交叉项（ $\sigma_v \sigma_u \partial V_{ju} V_{jv}$ 与 $-\sigma_v \sigma_u \partial V_{ju} V_{jv}$ ）相互抵消，最终得到：

$\begin{align*} \partial J_{ij}\left(\sigma_u U_{iv} V_{ju} + \sigma_v U_{iu} V_{jv}\right) &= ({\sigma_u}^2 - {\sigma_v}^2) \partial U_{iu} U_{iv} \\ \implies \partial U_{iu} U_{iv} &= \frac{1}{\sigma_u^2 - \sigma_v^2} \partial J_{ij}\left(\sigma_u U_{iv} V_{ju} + \sigma_v U_{iu} V_{jv}\right) \end{align*}$

Right singular vectors

右奇异向量

Similarly, if we multiplied by $\sigma_u$ and $\sigma_v$ respectively, we get
类似地，将原方程组的第一个等式乘以 $\sigma_u$ ，第二个等式乘以 $\sigma_v$ ，可得：

$\begin{align*} \sigma_u \partial J_{ij}U_{iu} V_{jv} &= -{\sigma_v} \sigma_u \partial U_{iu} U_{iv} + {\sigma_u}^2 \partial V_{ju} V_{jv} \\ \sigma_v\partial J_{ij}U_{iv} V_{ju} &= \sigma_v\sigma_u \partial U_{iu} U_{iv} - {\sigma_v}^2 \partial V_{ju} V_{jv} \end{align*}$

If we sum the equations, the first terms on the RHS cancel and we’re left with
将两个等式相加，右侧的交叉项（ $-\sigma_v \sigma_u \partial U_{iu} U_{iv}$ 与 $\sigma_v \sigma_u \partial U_{iu} U_{iv}$ ）相互抵消，最终得到：

$\begin{align*} \partial J_{ij}\left(\sigma_v U_{iv} V_{ju} + \sigma_u U_{iu} V_{jv}\right) &= ({\sigma_u}^2 - {\sigma_v}^2) \partial V_{ju} V_{jv} \\ \implies \partial V_{ju} V_{jv} &= \frac{1}{\sigma_u^2 - \sigma_v^2} \partial J_{ij}\left(\sigma_v U_{iv} V_{ju} + \sigma_u U_{iu} V_{jv}\right) \end{align*}$

Summary

总结

To simplify the expressions, we’ll use the notation $U_i := U_{:,i}$ and $V_i := V_{:,i}$ to denote the $i$ th column of $U$ and $V$ respectively. Then returning to matrix notation yields:
为简化表达式，定义符号 $U_i := U_{:,i}$ （ $U_i$ 为矩阵 $U$ 的第 $i$ 列）和 $V_i := V_{:,i}$ （ $V_i$ 为矩阵 $V$ 的第 $i$ 列），并还原为矩阵形式，可得：

$\begin{align*} \partial \sigma_u &= \partial J_{ij}U_{iu} V_{ju} \\ \partial U_u \cdot U_{v\neq u} &= \frac{1}{\sigma_u^2 - \sigma_v^2} \partial J_{ij}\left(\sigma_u U_{iv} V_{ju} + \sigma_v U_{iu} V_{jv}\right) \\ \partial V_u \cdot V_v &= \frac{1}{\sigma_u^2 - \sigma_v^2} \partial J_{ij}\left(\sigma_v U_{iv} V_{ju} + \sigma_u U_{iu} V_{jv}\right) \end{align*}$

Note that to isolate the derivatives of $U$ and $V$ , we can write them as a linear combination of the singular vectors:
需注意，若要单独表示 $U$ 和 $V$ 的导数，可将其表示为奇异向量的线性组合：

$\begin{align*} \partial U_u = (\partial U_u \cdot U_{v\neq u}) U_u \\ \partial V_u = (\partial V_u \cdot V_{v\neq u}) V_u \end{align*}$

Because $U$ and $V$ are orthogonal, $\partial U_u \cdot U_u = \partial V_u \cdot V_u = 0$ .
这是因为 $U$ 和 $V$ 均为正交矩阵，根据正交矩阵求导结论，有 $\partial U_u \cdot U_u = \partial V_u \cdot V_u = 0$ （即奇异向量的导数与其自身正交）。

Time derivative

时间导数

We can also see how the singular vectors and singular values evolve when we flow on the vector field:
当矩阵 $J$ 随向量场 $\frac{dx_t}{dt} = X_t(x_t)$ 演化时，我们还可推导奇异向量和奇异值的时间导数：

$\begin{align*} \frac{dx_t}{dt} = X_t(x_t) \end{align*}$

To do this, recall that we can write the time derivative of the components of $J$ as:
首先，回顾矩阵 $J$ 各元素的时间导数表达式：

$\begin{align*} \frac{dJ}{dt} = \nabla X_t J \end{align*}$

Then we can look at the time derivative of the SVD derivatives.
基于此，可进一步推导奇异值分解各元素的时间导数。

Singular value derivatives

奇异值的时间导数

$\begin{align*} \frac{d\sigma_u}{dt} &= \frac{dJ_{ij}}{dt}U_{iu} V_{ju} \\ &= (\nabla X_t)_{ik} J_{kj} U_{iu} V_{ju} \\ &= (\nabla X_t)_{ik} U_{iu} \sigma_u U_{ku} \\ \end{align*}$

This is more simply expressed using the log of the singular values:
若对奇异值取对数，表达式可进一步简化：

$\begin{align*} \frac{d\log \sigma_u}{dt} = (\nabla X_t)_{ik} U_{iu} U_{ku} \end{align*}$

注：对 $\frac{d\sigma_u}{dt} = (\nabla X_t)_{ik} U_{iu} \sigma_u U_{ku}$ 两侧同时除以 $\sigma_u$ ，利用 $\frac{1}{\sigma_u}\frac{d\sigma_u}{dt} = \frac{d\log \sigma_u}{dt}$ ，即可得到上述对数形式的时间导数，该形式在分析奇异值的相对变化率时更便捷。）

Left singular vector derivatives

左奇异向量的时间导数

$\begin{align*} \frac{dU_u}{dt} \cdot U_{v\neq u} &= \frac{1}{\sigma_u^2 - \sigma_v^2} \frac{dJ_{ij}}{dt}\left(\sigma_u U_{iv} V_{ju} + \sigma_v U_{iu} V_{jv}\right) \\ &= \frac{1}{\sigma_u^2 - \sigma_v^2} (\nabla X_t)_{ik} J_{kj}\left(\sigma_u U_{iv} V_{ju} + \sigma_v U_{iu} V_{jv}\right) \\ &= \frac{1}{\sigma_u^2 - \sigma_v^2} (\nabla X_t)_{ik}\left(\sigma_u^2 U_{iv} U_{ku} + \sigma_v^2 U_{iu} U_{kv}\right) \\ &= \frac{\sigma_u^2}{\sigma_u^2 - \sigma_v^2} U_v^T(\nabla X_t)U_u + \frac{\sigma_v^2}{\sigma_u^2 - \sigma_v^2} U_u^T(\nabla X_t)U_v \\ &= U_v^T\left(\frac{\sigma_u^2}{\sigma_u^2 - \sigma_v^2}\nabla X_t + \frac{\sigma_v^2}{\sigma_u^2 - \sigma_v^2} \nabla X_t^T\right)U_u \end{align*}$

注：

将“奇异向量导数公式”中的 $\partial$ 替换为时间导数 $\frac{d}{dt}$ ，并代入 $\frac{dJ_{ij}}{dt} = (\nabla X_t)_{ik} J_{kj}$ ；
利用 $J_{kj} U_{iv} V_{ju} = \sigma_u U_{kv} U_{iv}$ 和 $J_{kj} U_{iu} V_{jv} = \sigma_v U_{kv} U_{iu}$ （由 SVD 定义推导）；
后两步将爱因斯坦求和符号转化为矩阵乘法形式，其中 $U_v^T(\nabla X_t)U_u$ 对应 $(\nabla X_t)_{ik} U_{iv} U_{ku}$ ， $U_u^T(\nabla X_t)U_v$ 对应 $(\nabla X_t)_{ik} U_{iu} U_{kv}$ ，并通过合并同类项整理得到最终结果。

Right singular vector derivatives

右奇异向量的时间导数

$\begin{align*} \frac{dV_u}{dt} \cdot V_{v\neq u} &= \frac{1}{\sigma_u^2 - \sigma_v^2} \frac{dJ_{ij}}{dt}\left(\sigma_v U_{iv} V_{ju} + \sigma_u U_{iu} V_{jv}\right) \\ &= \frac{1}{\sigma_u^2 - \sigma_v^2} (\nabla X_t)_{ik} J_{kj}\left(\sigma_v U_{iv} V_{ju} + \sigma_u U_{iu} V_{jv}\right) \\ &= \frac{1}{\sigma_u^2 - \sigma_v^2} (\nabla X_t)_{ik}\left(\sigma_u\sigma_v U_{iv} U_{ku} + \sigma_u\sigma_v U_{iu} U_{kv}\right) \\ &= \frac{\sigma_u \sigma_v}{\sigma_u^2 - \sigma_v^2}\left( U_v^T(\nabla X_t)U_u + U_u^T(\nabla X_t)U_v \right) \\ &= \frac{\sigma_u \sigma_v}{\sigma_u^2 - \sigma_v^2} U_v^T(\nabla X_t + \nabla X_t^T)U_u \end{align*}$

注：

与左奇异向量时间导数类似，第一步替换导数符号并代入 $\frac{dJ}{dt}$ 的表达式；

第二步利用 $J_{kj} U_{iv} V_{ju} = \sigma_u U_{kv} V_{ju}$ 和 $J_{kj} U_{iu} V_{jv} = \sigma_v U_{kv} V_{jv}$ ，进一步结合 $V_{ju} = \frac{1}{\sigma_u} J_{kj} U_{ku}$ （由 SVD 定义 $\Sigma V^T$ 变形），可化简得到 $\sigma_v U_{iv} U_{ku} + \sigma_u U_{iu} U_{kv}$ ，再乘以 $\sigma_u \sigma_v$ 的系数；

最后一步将两项合并为 $U_v^T(\nabla X_t + \nabla X_t^T)U_u$ ，利用了矩阵乘法的转置性质： $U_u^T(\nabla X_t)U_v = \left( U_v^T(\nabla X_t^T)U_u \right)^T$ ，而由于内积结果为标量，标量的转置等于其自身，故可合并为和的形式。