数学漫游 -> 向量投影和最小二乘法

向量投影和最小二乘法

1. 向量的投影

• 问题1: 某个向量$b=(2,3,4)$投影到z轴或者xy平面, 投影的结果长什么样子?
• 问题2: 什么样的矩阵能够把向量$b$投影到一条线或者一个平面?

定义: $b$在线上的投影属于该条线, $b$在平面上的投影属于该平面. 投影结果$p=Pb$. 其中$P$为投影矩阵.
投影问题的定义: $b$向$A$的列空间进行投影. $A$是mxn的矩阵.

1.1 向量在向量上的投影

error $e=b-\hat{x}a$, $\hat{x}$是某个系数, 使得$b$在$a$上的投影$p=\hat{x}a$.
根据投影中的关键性质: 正交性质. 可得$a$和误差$e$正交, 即:
$a\cdot p=0$ $\iff$ $a\cdot (b-\hat{x}a)=0$, 推出 x ^ = a ⋅ b a ⋅ a = a T b a T a \widehat{x} = \frac{a \cdot b}{a \cdot a} = \frac{a^T b}{a^T a} x =a⋅aa⋅b​=aTaa