QR分解的三种方法和实现过程

最新推荐文章于 2025-05-20 16:55:59 发布

计算机会说话

最新推荐文章于 2025-05-20 16:55:59 发布

阅读量4.3k

点赞数 16

CC 4.0 BY-SA版权

分类专栏：笔记文章标签：线性代数矩阵算法

本文链接：https://blog.youkuaiyun.com/m0_45315213/article/details/129677506

笔记专栏收录该内容

5 篇文章

订阅专栏

QR分解是线性代数中一种重要的矩阵分解方法，常用于解决最小二乘问题。通过将原问题转化为求解线性方程组，然后利用正交矩阵Q和上三角矩阵R的乘积形式简化计算。文章介绍了Gram-Schmidt正交化过程，以及Householder变换和Givens变换这两种实现QR分解的方法，它们分别通过反射和旋转变换逐步将矩阵转换为上三角形式。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

QR分解

在解最小二乘问题 $min ∣∣ A x - b ∣∣$ 时，将其转化成 $A^{T}Ax=A^{T}b$ 之后该问题就是一个求解线性方程组的问题。最简单的求解线性方程组方法是高斯消去，但是有时高斯消去会增大方程的条件数，这时我们可以用正交分解来解决这个问题，即 $\rightarrow QRx=b$ ，其中 $Q$ 是正交矩阵（ $Q^{T}Q=I$ ）， $R$ 是上三角矩阵。

1.Gram Schmidt正交化

希望将一般向量组 $a_{1},a_{2},...,a_{m})$ 转化成一组正交向量 $b_{1},b_{2},...,b_{m})$ 。

step1 令 $b_{1}=a_{1}$ ， $b_{2}=a_{2}-kb_{1}$ ，希望 $b_{1},b_{2}$ 正交，即 $b_{1},b_{2}>=0$
$→<b1,a2−kb1>=0\rightarrow <b_{1},a_{2}-kb_{1}>=0$
$→<b1,a2>−k<b1,b1>=0\rightarrow<b_{1},a_{2}>-k<b_{1},b_{1}>=0$
$→k=<b1,a2><b1,b1>\rightarrow k=\frac{<b_{1},a_{2}>}{<b_{1},b_{1}>}$ 。
step2 令 $b_{3}=a_{3}-k_{1}b_{1}-k_{2}b_{2}$ ，则希望 $b_{1},b_{3}>=0，<b_{2},b_{3}>$ 同时成立，即
$b_{1},a_{3}-k_{1}b_{1}-k_{2}b_{2}>=0$
$→<b1,a3−k1b1>=0\rightarrow <b_{1},a_{3}-k_{1}b_{1}>=0$
$→k1=<b1,a3><b1,b1>\rightarrow k_{1}=\frac{<b_{1},a_{3}>}{<b_{1},b_{1}>}$ ，同理可以推出 $k2=<b2,a3><b2,b2>k_{2}=\frac{<b_{2},a_{3}>}{<b_{2},b_{2}>}$ 。

施密特正交化的最终形式为 $b_{m}=a_{m}-k_{1}b_{1}-k_{2}b_{2}-...-k_{m-1}b_{m-1}$ ，其中， $ki=<bi,am><bi,bi>k_{i}=\frac{<b_{i},a_{m}>}{<b_{i},b_{i}>}$ 。令 $A=[a_{1},a_{2},...,a_{n}],B=[b_{1},b_{2},...,b_{n}]$ ，则有 $A=B^{T}R$ ，其中 $B$ 是正交矩阵， $R$ 是上三角矩阵，且
$R=1kk1k101k2k2001k30001R=\begin{array}{cccc} 1 & k & k_{1} & k_{1}\\ 0 & 1 & k_{2} & k_{2}\\ 0 & 0 & 1 & k_{3}\\ 0 & 0 & 0 & 1 \end{array}$
综上，格拉姆-施密特正交化结束。

2.Householder变换

Householder变换是一种镜面反射，即，将一个向量 $a⃗\vec{a}$ 沿 $w⃗\vec{w}$ 的法向量对称到 $b⃗\vec{b}$ 的位置，如下图所示，这个图临时找的，有时间要替换一下。

令 $H=I-2uu^{T}$ ，其中 $u^{T}u=1$ ，则 $Hx=x-2uu^{T}x=x-2(u^{T}x)u$ ，其中 $u^{T}x$ 是标量，显然 $2(u^{T}x)u$ 与 $u⃗\vec{u}$ 平行且相等，平行在图像中可以看出来，图中虚线和 $w$ 平行，但其实这个相等我没推出来，但是代入一些特殊向量如 $w$ 和 $v,v^{T}w=0$ 两个向量都成立。

在正交分解中，Householder变换主要用来将一般向量 $x⃗\vec{x}$ 变换成向量 $y⃗=(c,0,0,...,0)\vec{y}=(c,0,0,...,0)$ ，因为该向量是镜面反射，所以只能由 $x⃗\vec{x}$ 变成目标向量 $y⃗=(∣x⃗∣,0,0,...,0)\vec{y}=(|\vec{x}|,0,0,...,0)$ 。而 $u⃗\vec{u}$ 一定和 $x⃗−y⃗\vec{x}-\vec{y}$ 平行，同时 $u⃗\vec{u}$ 是单位向量，因此 $u⃗=x⃗−y⃗∣x⃗−y⃗∣\vec{u}=\frac{\vec{x}-\vec{y}}{|\vec{x}-\vec{y}|}$ ，再代入 $H=I-2uu^{T}$ 就找到了Householder矩阵 $H$ 。

下面讲怎么用Householder变换做QR分解。

对于矩阵
$A=xxxxxxxxxxxxxxxxA=\begin{array}{cccc} x & x & x & x\\ x & x & x & x\\ x & x & x & x\\ x & x & x & x \end{array}$ 使用Householder变换可以找到 $H$ ，使得
$HA=xxxx0xxx0xxx0xxxHA=\begin{array}{cccc} x & x & x & x\\ 0 & x & x & x\\ 0 & x & x & x\\ 0 & x & x & x \end{array}$

再用 $H1′=100H1H_{1}'=\begin{array}{cccc} 1 & 0 \\ 0 & H_{1}\\ \end{array}$ 依次对下一列进行Householder变换，就可以得到最终的上三角矩阵。

3.Givens变换（初等旋转变换）

使用初等旋转矩阵 $G=cosθ−sinθsinθcosθG=\begin{array}{cccc} cos\theta & -sin\theta \\ sin\theta & cos\theta \\ \end{array}$
作用到 $x=[x_{i},x_{j}]^{T}$ 上，有 $Gx=[xi2+xj2,0]TGx=[\sqrt{x_{i}^{2}+x_{j}^{2}},0]^{T}$ ，从而可以将一个二维向量的某一项变为0，将其用到QR分解中，对于矩阵
$A=xxxxxxxxxxxxxxxxA=\begin{array}{cccc} x & x & x & x\\ x & x & x & x\\ x & x & x & x\\ x & x & x & x \end{array}$
使用Givens变换可以找到矩阵 $A=1000010000c−s00scA=\begin{array}{cccc} 1 & 0 & 0 & 0\\ 0 & 1 & 0 & 0\\ 0 & 0 & c & -s\\ 0 & 0 & s & c \end{array}$ 使得 $GA=xxxxxxxxxxxx0xxxGA=\begin{array}{cccc} x & x & x & x\\ x & x & x & x\\ x & x & x & x\\ 0 & x & x & x \end{array}$
一次生成一个0，因此依次进行Givens变换也可以得到最终的上三角矩阵 $R$ ，实现QR分解。