Householder变换与QR分解详细推导过程

1、向量的内积(点乘)，外积(叉乘)

向量的内积(点乘)，外积(叉乘)的代数定义与几何定义；
https://zhuanlan.zhihu.com/p/359975221

2、向量的投影与正交投影

参考资料：
https://blog.youkuaiyun.com/wxc971231/article/details/122789265

2.1、投影问题数学表达

二维平面投影，如下将b向量投影到向量a方向，得到b向量在a向量的分量p；数学表达为：已知向量a和b如下定义：
$$a=\left\{\begin{array}{l}{x}_a\\ y_a\\ z_a\end{array}\right\}b=\left\{\begin{array}{l}{x}_b\\ y_b\\ z_b\end{array}\right\}$$
具体情况如下图：

求向量p 关于向量a和b的表达式？

2.2、求解投影矩阵

如图可见向量 b−p 与向量a 正交，內积为 0，即有
$$\begin{array}{rlr}& {\mathbf{a}}^{\top }(\mathbf{b}-\mathbf{p})={\mathbf{a}}^{\top }(\mathbf{b}-\mathrm{x}\mathbf{a})=0& \\ \Rightarrow & \mathbf{x}=\frac{{\mathbf{a}}^{\top }\mathbf{b}}{{\mathbf{a}}^{\top }\mathbf{a}}& /\ast 注意x式一个系数,行乘列为向量内积\ast /\\ \Rightarrow & p=\mathbf{ax}=\mathbf{a}\frac{{\mathbf{a}}^{\top }\mathbf{b}}{{\mathbf{a}}^{\top }\mathbf{a}}=\left(\frac{\mathbf{a}{\mathbf{a}}^{\top }}{{\mathbf{a}}^{\top }\mathbf{a}}\right)\mathbf{b}& \end{array}$$
其中
$$\begin{array}{r}\left(\frac{\mathbf{a}{\mathbf{a}}^{\top }}{{\mathbf{a}}^{\top }\mathbf{a}}\right)\end{array}$$
$\mathbf{P}=\frac{{\mathrm{aa}}^{\top }}{{\mathbf{a}}^{\top }\mathrm{a}}$ 称为投影矩阵，记作$P$。

2.3、投影矩阵$P$的性质

1. 分母${\mathbf{a}}^{\top }\mathbf{a}$ 是向量内积，是个常数，不管它
2. 分子 $\mathbf{a}{\mathbf{a}}^{\top }$ ，这是个矩阵，显然有 $\mathrm{rank}(\mathbf{A})=1$ ，其列空间就是 $k\mathbf{a}｝\text{ ，因此用投影矩阵左乘向量会把向量变换到其列空间 }\mathbf{ka}$中，实现投影
3. $\mathbf{a}{\mathbf{a}}^{\top }$ 对称，所以 $\mathbf{P}$ 是对称矩阵， $\mathbf{P}={\mathbf{P}}^{\top }$
4. 重复投影两次，结果不变，即有 ${\mathbf{P}}^2=\mathbf{P}$

• 另外提一句，假设向量 䙵两夹角为 $\theta$ ，常见的向量内积
  $${\mathbf{a}}^{\top }\mathbf{b}=\Vert \mathbf{b}\Vert \cdot \Vert \mathbf{a}\Vert \cdot \cos (\theta )$$

计算的就是一个向量的模乘以另一个向量在此向量上投影的模长。如果把其中某一个向量的模长设为 1 (即变为单位向量)，最后再乘以该向量，就得到投影向量，即

$\mathbf{a}$ 投影到单位向量 $\mathbf{b}$ 为: $\left({\mathbf{a}}^{\top }\mathbf{b}\right)\mathbf{b}=\left({\mathbf{b}}^{\top }\mathbf{a}\right)\mathbf{b}=\Vert \mathbf{a}\Vert \cos (\theta )\mathbf{b}$, 其中 $\Vert \mathbf{b}\Vert =1$
$\mathbf{b}$ 投影到单位向量 $\mathbf{a}$ 为: $\left({\mathbf{a}}^{\top }\mathbf{b}\right)\mathbf{a}=\left({\mathbf{b}}^{\top }\mathbf{a}\right)\mathbf{a}=\Vert \mathbf{b}\Vert \cos (\theta )\mathbf{a}$, 其中 $\Vert \mathbf{a}\Vert =1$

当投影方向不是单位向量时，增加其模的倒数进行缩放，如上图中的 $\mathbf{P}=\Vert \mathbf{b}\Vert \cos (\theta )\frac{\mathbf{a}}{\Vert \mathbf{a}\Vert }$

2.4、正交投影矩阵

已知向量b在向量a上的投影向量 $p$可以如下表示：
$$\begin{array}{rl}& p=\left(\frac{\mathbf{a}{\mathbf{a}}^{\top }}{{\mathbf{a}}^{\top }\mathbf{a}}\right)\mathbf{b}\end{array}$$
则向量b在向量a正交方向投影为 b-p；表达式如下：
$$\begin{array}{rl}& b-p=\mathbf{Ib}-\left(\frac{\mathbf{a}{\mathbf{a}}^{\top }}{{\mathbf{a}}^{\top }\mathbf{a}}\right)\mathbf{b}=\left(\mathbf{I}-\frac{\mathbf{a}{\mathbf{a}}^{\top }}{{\mathbf{a}}^{\top }\mathbf{a}}\right)\mathbf{b}\end{array}$$
因正交投影矩阵表达式为：$$\left(\mathbf{I}-\frac{\mathbf{a}{\mathbf{a}}^{\top }}{{\mathbf{a}}^{\top }\mathbf{a}}\right)$$

3、Householder 变换与QR分解

推荐视频资料：
https://m.bilibili.com/video/BV1FB4y1j7pA?buvid=XY1BC9D1023376660B90270930FC3357FA99A&from_spmid=united.player-video-detail.drama-float.0&is_story_h5=false&mid=EMknszTdXIk3B70T%2BkLvLQ%3D%3D&p=1&plat_id=114&share_from=ugc&share_medium=android&share_plat=android&share_session_id=c92f3465-b268-4b3e-b014-5c5cfa3621d4&share_source=WEIXIN&share_tag=s_i&spmid=united.player-video-detail.0.0&timestamp=1700552919&unique_k=YcPByru&up_id=1235616254&code=0417lc100dVc4R1xoS300o6xgY07lc1P&state=
推荐书本：矩阵分析与应用张贤达第一版，第4章内容。

3.1、Householder 变换与 Householder 矩阵

3.1.1、Householder 变换

考虑如下场景：已知向量$x$和向量$w$，求解向量$y$，向量$y$具有以下特点：
根据向量$w$可以确认其垂直平面，如下图灰色面部分；向量$y$为向量$x$相对于灰色面部分的镜像向量$y$；由于向量$x$和向量$y$满足镜像关系，所以向量$x$与向量$y$长度相同。
因此Householder 变换也称为镜像变换。

$$\begin{array}{c}{\omega }_0=\frac{\omega }{\Vert \omega {\Vert }_2},\omega =x-y=\Vert \omega {\Vert }_2{\omega }_0,\Vert \omega {\Vert }_2=2\left(x,{\omega }_0\right)=2{\omega }_0^{T}x\\ x-y=2\left({\omega }_0^{T}x\right){\omega }_0=2{\omega }_0\left({\omega }_0^{T}x\right)=2\frac{\omega \left({\omega }^{T}x\right)}{\Vert \omega {\Vert }_2^2}=2\frac{\left(\omega {\omega }^T\right)x}{{\omega }^T\omega }\\ y=x-2\frac{\omega {\omega }^T}{{\omega }^T\omega }x=\left(I-\frac{2}{{\omega }^T\omega }\omega {\omega }^T\right)x=H(\omega )x\end{array}$$

设 $\omega \in {\mathbf{R}}^n,\omega \ne 0$, 称初等矩阵为Householder矩阵：
$$\mathbf{H}(\mathbf{\omega })=\mathbf{I}-\frac{2}{{\mathbf{\omega }}^T\omega }\mathbf{\omega }{\mathbf{\omega }}^T$$
注意：向量$w$为列向量，所以
分子：$\mathbf{\omega }{\mathbf{\omega }}^T$ 是一个3*3的对称矩阵
分母：${\mathbf{\omega }}^T\omega$是一个数值，向量的内积等于向量模长的平方。

3.1.2、Householder矩阵的性质

1. 对称性: $\mathbf{H}(\mathbf{\omega }{)}^T=\mathbf{H}(\mathbf{\omega })$
   $$\begin{gathered} \mathbf{H}(\mathbf{\omega }{)}^T={\left(\mathbf{I}-\frac{2}{{\mathbf{\omega }}^T\mathbf{\omega }}\mathbf{\omega }\mathbf{\omega }\right)}^T=\mathbf{I}-\frac{2}{{\mathbf{\omega }}^T\mathbf{\omega }}(\mathbf{\omega }\mathbf{\omega }{)}^T \\ =\mathbf{I}-\frac{2}{{\mathbf{\omega }}^T\mathbf{\omega }}\mathbf{\omega }{\mathbf{\omega }}^T=\mathbf{H}(\mathbf{\omega }) \end{gathered}$$

2. 正交性: $\mathbf{H}(\mathbf{\omega }{)}^T\mathbf{H}(\mathbf{\omega })=\mathbf{I}$
   $$\begin{array}{rl}H(\omega {)}^{T}H(\omega )=(I-\frac{2}{{\omega }^T\omega }\omega {\omega }^2=I-\frac{2}{{\omega }^T\omega }\omega {\omega }^T-\frac{2}{{\omega }^T\omega }\omega {\omega }^T& +{\left(\frac{2}{{\omega }^T\omega }\right)}^2\left(\omega {\omega }^J\right)\left(\omega {\omega }^T\right)\\ =\mathbf{I}-\frac{4}{{\omega }^T\omega }\omega {\omega }^T+\frac{4}{{\left({\omega }^T\omega \right)}^2}\omega \left({\omega }^T\omega \right){\omega }^T=\mathbf{I}& \end{array}$$

3. 如果 $\mathbf{H}(\mathbf{\omega })\mathbf{x}=\mathbf{y}$, 则 $\Vert \mathbf{y}{\Vert }_2=\Vert \mathbf{x}{\Vert }_2$ (长度不变)
   $$\begin{gathered} \Vert \mathbf{y}{\Vert }_2^2={\mathbf{y}}^T\mathbf{y}=(\mathbf{H}(\mathbf{\omega })\mathbf{x}{)}^T(\mathbf{H}(\mathbf{\omega })\mathbf{x}) \\ ={\mathbf{x}}^T\left(\mathbf{H}(\mathbf{\omega }{)}^T\mathbf{H}(\mathbf{\omega })\right)\mathbf{x}={\mathbf{x}}^T\mathbf{x}=\Vert \mathbf{x}{\Vert }_2^2 \end{gathered}$$

4. $\mathbf{H}(\mathbf{\omega })$ 的特征值为 $n-1$ 个 1 和一个 -1 。
   所以行列式的值为 $|\mathbf{H}(\mathbf{\omega })|=-1$

5. 由于$H(\omega )$是一个对称的正交矩阵，因此有以下等式成立。
   $H(\omega )=H(\omega {)}^T=H(\omega {)}^{-1}$

3.1.3、Householder 变换的意义

设 $x,y\in {\mathbf{R}}^n,x\ne y,\Vert x{\Vert }_2=\Vert y{\Vert }_2$, 取 $\omega =x-y$ 则
$$\mathbf{H}(\omega )x=y$$
   这个等式的意义其实包含了$xyw$三个向量之间的关系，当满足向量$x$的模长等于向量$y$的模长，且向量$w$满足$w=x-y$这两个条件，则上面等式恒成立。
   此等式有以下特殊应用，设 $\mathbf{x}={\left(x_1,x_2,\cdots ,x_n\right)}^T\in {\mathbf{R}}^n$ 且 $\mathbf{x}\ne 0$, 我们希望将n维变量$x$转换为向量$y=\pm \Vert x{\Vert }_2{e}_1$ 的形式，其中 ${\mathrm{e}}_1=(1,0,...,0{)}^T$；此时满足了向量$x,y$模长相等的条件，取 $\omega =\mathbf{x}\pm \Vert x{\Vert }_2{e}_1$ 则满足了$w=x-y$的条件；因此下面恒等关系成立。
$$H(\omega )x=\mp \Vert x{\Vert }_2{e}_1.$$
   由于$H(\omega )$是一个对称的正交矩阵，因此有以下等式成立：$H(\omega )=H(\omega {)}^T=H(\omega {)}^{-1}$；根据上面两式子得到以下结论：$\begin{array}{c}H(\omega )x=\mp {\Vert x\Vert }_2{e}_1\\ H{(\omega )}^{-1}H(\omega )x=H{(\omega )}^{-1}{\Vert x\Vert }_2{e}_1\\ \Rightarrow x=H{(\omega )}^{-1}{\Vert x\Vert }_2{e}_1\\ \Rightarrow x=H(\omega ){\Vert x\Vert }_2{e}_1\end{array}$
使用Householder 变换可以将一个普通向量$x$分解为一个对阵正交矩阵$H(\omega )$乘以一个单位向量$\mp {\Vert x\Vert }_2{e}_1$的形式。

3.1.4、应用举例

例: 求Householder矩阵 $\mathrm{H}$, 使得 $\mathrm{Hx}=\mathrm{y}$
已知$x=(-3,0,4{)}^T$，那向量$y$只需要满足模长与向量$x$相同即可，所以向量$y$的取值很多，可以为$y=(5,0,0{)}^T$或$y=(0,5,0{)}^T$或$y=(1,1,\sqrt{23}{)}^T$，这里我们取：$y=(0,0,5{)}^T$进行计算。

$$\begin{array}{rl}& x=(-3,0,4{)}^T,y=(0,0,5{)}^T\\ & \omega =x-y=(-3,0,-1{)}^T{\omega }^T\omega =10\\ & H(\omega )=I-2\frac{\omega {\omega }^T}{{\omega }^T\omega }=\left(\begin{array}{ccc}1& & \\ & 1& \\ & & 1\end{array}\right)-\frac{2}{10}\left(\begin{array}{c}-3\\ 0\\ 1\end{array}\right)(-3,0,-1)=\left(\begin{array}{ccc}-\frac{4}{5}& 0& -\frac{3}{5}\\ 0& 1& 0\\ -\frac{3}{5}& 0& \frac{4}{5}\end{array}\right)\end{array}$$

3.2、QR分解

3.2.1 矩阵分解的目的

矩阵分解的目的就是简化线程方程组求解，降低计算难度和计算量。
如果 $\mathbf{A}\in {\mathrm{R}}^{m\times n}(m\ge n),r(\mathbf{A})=n$,
$$A=Q\left(\begin{array}{c}{R}_I\\ O\end{array}\right)=QR$$

其中 $Q$ 为正交阵, $R_1$ 为对角元非零的上三角矩阵；这样矩阵可以变成如下形式：
$$A=QR$$
$Q$ 为对称正交阵, $R$ 为上三角阵，因此线程方程组可以改写成以下形式：
$$\mathbf{Ax}=\mathbf{b}\stackrel{A=QR}{⟶}\{\begin{array}{l}Qy=b\\ Rx=y\end{array}⟺Rx=Q^{T}b=Qb$$
这样$x$的系数阵 $R_1$ 为对角元非零的上三角矩阵；通过将数据回代进入方程就可以求解$x$

3.2.2、QR分解举例

使用Householder变换将矩阵A分解为对称矩阵乘以对角非零的上三角矩阵，其中
$A=\left(\begin{array}{ccc}1& 1& 1\\ 2& 3& 1\\ 2& 1& -5\end{array}\right)$

1. 第一取出第一列$a_1$进行Householder变换
   $a_1=\left(\begin{array}{l}1\\ 2\\ 2\end{array}\right),{\Vert a_1\Vert }_2=3$，
   $w_1$取值为：
   ${\omega }_1=a_1-{\Vert a_1\Vert }_2{e}_1=\left(\begin{array}{l}1\\ 2\\ 2\end{array}\right)-\left(\begin{array}{l}3\\ 0\\ 0\end{array}\right)=\left(\begin{array}{c}-2\\ 2\\ 2\end{array}\right)$
   $Q_1=H\left({\omega }_1\right)=\mathbf{I}-\frac{2}{{\omega }_1^{\mathrm{T}}{\omega }_1}{\omega }_1{\omega }_1^{\mathrm{T}}=\left(\begin{array}{ccc}\frac{1}{3}& \frac{2}{3}& \frac{2}{3}\\ \frac{2}{3}& \frac{1}{3}& \frac{-2}{3}\\ \frac{2}{3}& \frac{-2}{3}& \frac{1}{3}\end{array}\right)\text{, }$
   $Q_1\mathbf{A}=\left(\begin{array}{ccc}3& 3& -\frac{7}{3}\\ 0& 1& \frac{13}{3}\\ 0& -1& -\frac{5}{3}\end{array}\right)=\left(\begin{array}{cc}3& {\mathbf{b}}^{\mathrm{T}}\\ 0& {\mathbf{A}}_2\end{array}\right)$

2. 根据上面等式，$A_2=\left(\begin{array}{cc}1& \frac{13}{3}\\ -1& -\frac{5}{3}\end{array}\right)$，继续对$A_2$进行Householder变换；
   ${\tilde{\mathbf{a}}}_1=\left(\begin{array}{c}1\\ -1\end{array}\right),{\Vert {\tilde{\mathbf{a}}}_1\Vert }_2=\sqrt{2},$
   ${\tilde{\mathbf{\omega }}}_2={\tilde{\mathbf{a}}}_1-{\Vert {\tilde{\mathbf{a}}}_1\Vert }_2{\mathbf{e}}_1=\left(\begin{array}{c}1\\ -1\end{array}\right)-\left(\begin{array}{c}\sqrt{2}\\ 0\end{array}\right)=\left(\begin{array}{c}1-\sqrt{2}\\ -1\end{array}\right)$
   ${\tilde{\mathbf{Q}}}_2=\mathbf{H}\left({\tilde{\mathbf{\omega }}}_2\right)=\mathbf{I}-\frac{2}{{\tilde{\mathbf{\omega }}}_2^{\mathrm{T}}{\tilde{\mathbf{\omega }}}_2}{\tilde{\mathbf{\omega }}}_2{\tilde{\mathbf{\omega }}}_2^{\mathrm{T}}=\frac{1}{2}\left(\begin{array}{cc}\sqrt{2}& -\sqrt{2}\\ -\sqrt{2}& -\sqrt{2}\end{array}\right)$
   ${\tilde{\mathbf{Q}}}_2{\mathbf{A}}_2=\left(\mathbf{H}\left({\tilde{\mathbf{\omega }}}_2\right){\tilde{\mathbf{a}}}_1,\mathbf{H}\left({\tilde{\mathbf{\omega }}}_2\right){\tilde{\mathbf{a}}}_2\right)=\left(\begin{array}{cc}\sqrt{2}& 3\sqrt{2}\\ 0& -\frac{4}{3}\sqrt{2}\end{array}\right)$

3. 构造$Q_2=\left(\begin{array}{cc}1& 0^{\mathrm{T}}\\ 0& {\tilde{Q}}_2\end{array}\right)=\left(\begin{array}{ccc}1& 0& 0\\ 0& \sqrt{2}& -\sqrt{2}\\ 0& -\sqrt{2}& -\sqrt{2}\end{array}\right)$
   由于${\tilde{Q}}_2$是Householder矩阵，具有对称正交的性质；所以构造的$Q_2$同样是对称正交矩阵，也是House矩阵。

4. 将${\mathbf{Q}}_2{\mathbf{Q}}_1\mathbf{A}=Q_2\left(\begin{array}{cc}3& {\mathbf{b}}^{\mathrm{T}}\\ 0& {\mathbf{A}}_2\end{array}\right)=\left(\begin{array}{cc}3& {\mathbf{b}}^{\mathrm{T}}\\ 0& {\tilde{\mathbf{Q}}}_2{\mathbf{A}}_2\end{array}\right)=\left(\begin{array}{ccc}3& 3& -\frac{7}{3}\\ 0& \sqrt{2}& 3\sqrt{2}\\ 0& 0& -\frac{4}{3}\sqrt{2}\end{array}\right)=\mathbf{R}$

$$\begin{array}{l}{Q}_2{Q}_{1}A=R\\ A={\left(Q_2{Q}_1\right)}^{-1}R\\ A={\left(Q_2{Q}_1\right)}^{T}R\\ A=\left({Q_1}^T{Q_2}^T\right)R\\ A=\left(Q_1{Q}_2\right)R\\ \Rightarrow A=QR\end{array}$$

$$Q=Q_1{Q}_2=\left(\begin{array}{ccc}\frac{1}{3}& \frac{2}{3}& \frac{2}{3}\\ \frac{2}{3}& \frac{1}{3}& \frac{-2}{3}\\ \frac{2}{3}& \frac{-2}{3}& \frac{1}{3}\end{array}\right)\left(\begin{array}{ccc}1& 0& 0\\ 0& \frac{\sqrt{2}}{2}& -\frac{\sqrt{2}}{2}\\ 0& -\frac{\sqrt{2}}{2}& \frac{\sqrt{2}}{2}\end{array}\right)=\left(\begin{array}{ccc}\frac{1}{3}& 0& -\frac{2\sqrt{2}}{3}\\ \frac{2}{3}& \frac{\sqrt{2}}{2}& \frac{\sqrt{2}}{6}\\ \frac{2}{3}& -\frac{\sqrt{2}}{2}& \frac{\sqrt{2}}{6}\end{array}\right)$$

最终通过Householder变换可以将矩阵分解为：$A=QR$，其中$Q$为对称的正交矩阵；$R$为对角非零的上三角矩阵。

 

相机模型的投影矩阵：
https://zhuanlan.zhihu.com/p/586364840