[计算数学基础]矩阵微分

最新推荐文章于 2022-09-19 20:01:21 发布

weixin_30567225

最新推荐文章于 2022-09-19 20:01:21 发布

阅读量293

点赞数

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/zhangcong2009/p/3498900.html

矩阵微分

函数对于变量的微分在高等数学里面讲的比较多，而矩阵微分在我印象中没有在高等代数中讲解。矩阵微分也是很常用的一个数学工具，我最早是在一门研究生课程“优化设计”中接触到，优化问题中的一个重要概念--梯度，其定义便是向量的微分形式，在求解优化问题时也大量的用到了矩阵的微分（包括向量的微分）。

在求解线性方程组的过程中，有一种迭代算法是源于最优化问题，叫做共轭梯度法（conjugate gradient method）也涉及到了很多的向量微分，当时让我很头疼，对于这个算法的原理我也没有搞清楚，只是按照伪代码去进行实现了。这两天抽空在网上看了下资料^[1]，说说我自己的理解。

先看看向量对于数量微分：

　　 $\begin{array}{l} \vec a(t) = {\left[ {\begin{array}{*{20}{c}} {{a_1}(t)}&{{a_2}(t)}& \cdots &{{a_n}(t)} \end{array}} \right]^{\rm{T}}}\\ \frac{{{\mathop{\rm d}\nolimits} \vec a(t)}}{{{\mathop{\rm d}\nolimits} t}} = {\left[ {\begin{array}{*{20}{c}} {\frac{{{\mathop{\rm d}\nolimits} {a_1}(t)}}{{{\mathop{\rm d}\nolimits} t}}}&{\frac{{{\mathop{\rm d}\nolimits} {a_2}(t)}}{{{\mathop{\rm d}\nolimits} t}}}& \cdots &{\frac{{{\mathop{\rm d}\nolimits} {a_n}(t)}}{{{\mathop{\rm d}\nolimits} t}}} \end{array}} \right]^{\rm{T}}} \end{array}$ 　　（1）　

　　即向量关于数量的微分是每个维度上的分量关于数量微分组成的向量，微分前后维度不变。

　　将向量相对于数量微分推广到二维，矩阵相对于数量的微分，微分前后的维度不变：

　　 $A = {[{a_{ij}}(t)]_{m \times n}},\frac{{{\rm{d}}A}}{{{\rm{d}}t}} = {\left[ {\frac{{{\rm{d}}{a_{ij}}(t)}}{{{\rm{d}}t}}} \right]_{m \times n}}$ 　　（2）

　　下面是一些矩阵对于数量微分的性质，比较容易理解：

　　 $\begin{array}{l} \frac{{d(A \pm B)}}{{dt}} = \frac{{dA}}{{dt}} \pm \frac{{dB}}{{dt}}\\ \frac{{d(\lambda A)}}{{dt}} = \frac{{d\lambda }}{{dt}}A + \lambda \frac{{dA}}{{dt}}\\ \frac{d}{{dt}}({a^{\rm{T}}}b) = \frac{{d{a^{\rm{T}}}}}{{dt}}b + {a^{\rm{T}}}\frac{{db}}{{dt}}\\ \frac{d}{{dt}}(AB) = \frac{{dA}}{{dt}}B + A\frac{{dB}}{{dt}} \end{array}$ 　　（3）

再是数量对于向量的微分：

　　 $\begin{array}{l} \vec x = {[{x_1},{x_2} \cdots {x_n}]^{\rm{T}}},\;\;\;f(\vec x) = f({x_1},{x_2}, \cdots {x_n})\;\;\;\\ \frac{{df(x)}}{{d\vec x}} = {\left[ {\begin{array}{*{20}{c}} {\frac{{\partial f}}{{\partial {x_1}}}}&{\frac{{\partial f}}{{\partial {x_2}}}}& \cdots &{\frac{{\partial f}}{{\partial {x_n}}}} \end{array}} \right]^{\rm{T}}}\\ \frac{{df(x)}}{{d{{\vec x}^{\rm{T}}}}} = \left[ {\begin{array}{*{20}{c}} {\frac{{\partial f}}{{\partial {x_1}}}}&{\frac{{\partial f}}{{\partial {x_2}}}}& \cdots &{\frac{{\partial f}}{{\partial {x_n}}}} \end{array}} \right] \end{array}$ 　　（4）

　　上式中数量 $f(\vec x)$ 经过对向量 ${\vec x}$ 的微分后在向量 ${\vec x}$ 所在的维度上被展开了，展开之后在 ${\vec x}$ 所有的维度上都有一个数量关于数量的微分，这些微分再组成一个向量构成了　　　　　　　　最后的结果。

　　再将数量 $f(\vec x)$ 推广到一维向量

　　 $\begin{array}{l} \vec a(\vec x) = \left[ {\begin{array}{*{20}{c}} {{a_1}(\vec x)}\\ {{a_2}(\vec x)}\\ \vdots \\ {a{}_m(\vec x)} \end{array}} \right],\;\;\vec x = \left[ {\begin{array}{*{20}{c}} {{x_1}}&{{x_2}}& \cdots &{{x_n}} \end{array}} \right]\\ \frac{{{\rm{d}}\vec a(\vec x)}}{{{\rm{d}}\vec x}} = \left[ {\begin{array}{*{20}{c}} {\frac{{\partial {a_1}}}{{\partial {x_1}}}}&{\frac{{\partial {a_1}}}{{\partial {x_2}}}}& \cdots &{\frac{{\partial {a_1}}}{{\partial {x_n}}}}\\ {\frac{{\partial {a_2}}}{{\partial {x_1}}}}&{\frac{{\partial {a_2}}}{{\partial {x_2}}}}& \cdots &{\frac{{\partial {a_2}}}{{\partial {x_n}}}}\\ \vdots & \vdots & \vdots & \vdots \\ {\frac{{\partial {a_m}}}{{\partial {x_1}}}}&{\frac{{\partial {a_m}}}{{\partial {x_2}}}}& \cdots &{\frac{{\partial {a_m}}}{{\partial {x_n}}}} \end{array}} \right] = {\left[ {\frac{{\partial {a_i}}}{{\partial {x_j}}}} \right]_{m \times n}} \end{array}$ 　　（5）

　　上式中我们看到，向量 $\vec a(\vec x)$ 经过对向量 $\vec x$ 微分后，相当于 $\vec a(\vec x)$ 的每一个维度对 $\vec x$ 进行微分，于是微分的结果是m维向量 $\vec a(\vec x)$ 的每一个维度都被展开成一个n维向量，这就是一个m×n的矩阵。

　　继续往下推广将之前的向量 $\vec a(\vec x)$ 替换为矩阵 $A(\vec x)$ ，再对向量 $\vec x$ 微分那么结果是什么呢？大家可以试着想象一下，结果会变成三维矩阵。

　　再讲讲性质：

　　 $\begin{array}{l} \frac{d}{{dx}}({a^{\rm{T}}} \pm {b^{\rm{T}}}) = \frac{{d({a^{\rm{T}}})}}{{dx}} \pm \frac{{d({b^{\rm{T}}})}}{{dx}}\\ \frac{d}{{dx}}(\lambda {a^{\rm{T}}}) = \frac{{d\lambda }}{{dx}}{a^{\rm{T}}} + \lambda \frac{{d{a^{\rm{T}}}}}{{dx}}\\ \frac{d}{{dx}}({a^{\rm{T}}}b) = \frac{{d({a^{\rm{T}}})}}{{dx}}b + \frac{{d({b^{\rm{T}}})}}{{dx}}a \end{array}$ 　　（6）

　　前面两条显而易见，需要注意的是第三条，在计算的过程中如果没有注意，很容易出错，其中等号右边第二项作微分的时候a与b都作了转置，而且相乘的顺序也与等号左边反过来了。

　　最后还有一个重要的性质

　　 $\frac{{{\mathop{\rm d}\nolimits} \vec x}}{{{\mathop{\rm d}\nolimits} {{\vec x}^{\rm{T}}}}} = I$ 　　（7）

　　到这里讲了一些基本的矩阵微分的定义与一些性质，下面我们以最小二乘问题为例子来看看矩阵微分的实际应用。

　　最小二乘问题就是多方程组求解少量未知数的问题，模型如下：

　　 $y = Ax$ （其中y,x是向量，为了简化没有加上箭头）

　　其中已知量y为m行向量，A为m×n的矩阵，未知量x为n行向量（m>n）。由于未知量个数小于方程个数，方程组无精确解。那么既然找不到精确解，我们只能矮子里面拔将军，从所有的可行解中找到最最接近方程的解。从几何上说最小二乘问题可理解为寻找向量y在超平面A上的投影，从代数上说我们要找到使得 ${\left| {y - Ax} \right|^2}$ 值最小的解（其实这也变成了一个最优化问题）。

　　下面我们分析 ${\left| {y - Ax} \right|^2}$ ，当它取到值极小值时，其关于向量x的导数应该为0。于是我们得到

　　 $\frac{{d{{\left( {y - Ax} \right)}^T}\left( {y - Ax} \right)}}{{dx}} = 0$ 　　（8）

　　矩阵乘法展开，根据式（6）有

　　 $\frac{{\mathop{\rm d}\nolimits} }{{dx}}\left( {{y^T}y} \right) + \frac{{\mathop{\rm d}\nolimits} }{{dx}}\left[ {{{\left( {Ax} \right)}^T}Ax} \right] - \frac{{\mathop{\rm d}\nolimits} }{{dx}}\left( {{y^T}Ax} \right) - \frac{{\mathop{\rm d}\nolimits} }{{dx}}\left[ {{{\left( {Ax} \right)}^T}y} \right] = 0$ 　　（9）

　　由于y,A为已知量与x无关，它们关于x的微分为0。再根据乘法微分公式，即式（6）中的第三条（注意转置与乘法顺序），展开得到

　　 $\begin{array}{l} 2\frac{{{\mathop{\rm d}\nolimits} {{\left( {Ax} \right)}^T}}}{{dx}}Ax - 2\frac{{{\mathop{\rm d}\nolimits} {{\left( {Ax} \right)}^T}}}{{dx}}y = 0\\ \frac{{{\mathop{\rm d}\nolimits} {{\left( {Ax} \right)}^T}}}{{dx}}\left( {Ax - y} \right) = 0\\ \left( {\frac{{{\mathop{\rm d}\nolimits} {x^T}}}{{dx}}{A^T} + \frac{{{\mathop{\rm d}\nolimits} {A^T}}}{{dx}}{x^T}} \right)\left( {Ax - y} \right) = 0 \end{array}$ 　　（10)

　　根据式（7），化简得到

　　 $\begin{array}{l} {A^T}\left( {Ax - y} \right) = 0\\ {A^T}Ax = {A^T}y \end{array}$ 　　(11)

　　上式是我们得到的结果，这已经转换为一个线性方程组求解的问题。

　　这样我们通过矩阵微分的计算将最小二乘最优化问题简化成了线性方程组求解问题，这种求解最小二乘问题的方法叫做法方程法（normal equation method^[2])，之所以叫做法方程法是因为从几何上理解我们通过寻找超平面A的正交方向即法方向从而获得了最小二乘解，这是求解最小二乘问题最常用、最快速的方法。

[1].http://wenku.baidu.com/link?url=TdIEytCM-IX6T476uhNSjf6-OutpwcldshCzo22VleP-b66rf4egRcE6bwoNxwe0d7pqjIW_MzrVgx8pIyOrjf_8uUwlh3jMQ7owoI1_FRa

[2].http://mathworld.wolfram.com/NormalEquation.html

转载于:https://www.cnblogs.com/zhangcong2009/p/3498900.html