日拱一卒之最小二乘中的一些小疑惑

日拱一卒之最小二乘中的一些小疑惑

范数推导

在电磁场（复数域）中推导这个公式，用到的是复向量空间的内积性质和复变函数求导（Wirtinger 导数） 。

目标函数就是：

$$J(\alpha )=||y-\alpha x|{|}^2$$

范数的展开（关键步骤）

在复数空间中，范数的平方定义为向量与自己的内积：$||a|{|}^2=⟨a,a⟩$。
注意： 电磁学中通常定义内积 $⟨a,b⟩=a\cdot b^{\ast }$ （或者是 $b^{\ast }\cdot a$，这取决于教材定义，但结果结构一样，这里假设是对第二项取共轭）。

展开过程如下：

$$J(\alpha )=⟨y-\alpha x,y-\alpha x⟩$$

根据内积的线性性质（分配律），把它拆成四项：

$$=⟨y,y⟩-⟨y,\alpha x⟩-⟨\alpha x,y⟩+⟨\alpha x,\alpha x⟩$$

这里要注意复数系数提出的规则（第一项线性，第二项共轭线性）：

• $⟨y,\alpha x⟩={\alpha }^{\ast }⟨y,x⟩$ （系数在后一项，提出来要变共轭）
• $⟨\alpha x,y⟩=\alpha ⟨x,y⟩$ （系数在前一项，直接提）
• $⟨\alpha x,\alpha x⟩=\alpha {\alpha }^{\ast }⟨x,x⟩=|\alpha {|}^2||x|{|}^2$

所以，展开后的完整式子是：

$$J(\alpha )=||y|{|}^2-{\alpha }^{\ast }⟨y,x⟩-\alpha ⟨x,y⟩+|\alpha {|}^2||x|{|}^2$$

如何求导得到 $\alpha$？

这是一个关于复数 $\alpha$ 的实值函数。求最小值的最快方法是利用 Wirtinger 导数（也叫复梯度）。
简单来说，在求极值时，可以把 $\alpha$ 和 ${\alpha }^{\ast }$ 看作两个独立的变量。

为了让 $J$ 最小，我们需要让 $J$ 对 ${\alpha }^{\ast }$ 的偏导数为 0：

$$\frac{\partial J}{\partial {\alpha }^{\ast }}=0$$

让对上面的展开式求导：

1. $||y|{|}^2$：与 ${\alpha }^{\ast }$ 无关 $\to 0$
2. $-{\alpha }^{\ast }⟨y,x⟩$：对 ${\alpha }^{\ast }$ 求导 $\to -⟨y,x⟩$
3. $-\alpha ⟨x,y⟩$：这一项看作常数（因为它只含 $\alpha$ 不含 ${\alpha }^{\ast }$） $\to 0$
4. $+\alpha {\alpha }^{\ast }||x|{|}^2$：对 ${\alpha }^{\ast }$ 求导 $\to +\alpha ||x|{|}^2$

把它们合起来令为 0：

$$-⟨y,x⟩+\alpha ||x|{|}^2=0$$

解出 $\alpha$

移项：

$$\alpha ||x|{|}^2=⟨y,x⟩$$

得到最终结果：

$$\alpha =\frac{⟨y,x⟩}{||x|{|}^2}$$

另一种更直观的理解（几何投影）

想用向量 $x$（猜测场）去逼近向量 $y$（真实场）。这就相当于要把 $y$ 投影到 $x$ 的方向上。

在线性代数中，向量 $y$ 在向量 $x$ 上的投影系数公式就是：

$$\text{系数}=\frac{\text{两个向量的内积}}{\text{基向量的长度平方}}=\frac{⟨y,x⟩}{||x|{|}^2}$$

1. 场景设定

想象我们在一个二维平面上（或者高维空间，原理一样）：

• 向量 $y$：这是我们的目标。
• 向量 $x$：这是我们现在的方向。
• 系数 $\alpha$：我们可以把向量 $x$ 拉长或缩短，变成 $\alpha x$。

2. 目标

我们的目标是找到一个 $\alpha$，使得 $\alpha x$ 这个新向量，离目标 $y$ 最近。也就是让误差向量 $e=y-\alpha x$ 的长度（范数）最小。

3. 几何直觉：垂直（正交）原理

请闭上眼睛想象一下（或者看下面的示意描述）：

• 你站在原点，手中拿着一支手电筒照向方向 $x$。
• 目标物体 $y$ 悬在空中，不在手电筒的光柱上。
• 你想在光柱上找一点（$\alpha x$），这点离物体 $y$ 最近。

结论是： 从 $y$ 向光柱 $x$ 做一条垂线，垂足的位置就是距离最近的点。

在数学上，这意味着误差向量 $e$ 必须垂直于方向向量 $x$。如果它们不垂直（比如有个锐角），那你就可以沿着 $x$ 再往前挪一点点，误差就会变得更小，直到垂直为止。

4. 数学推导

“垂直”在数学上的定义就是内积为 0。

$$⟨\text{误差向量},\text{方向向量}⟩=0$$

$$⟨y-\alpha x,x⟩=0$$

展开这个式子：

$$⟨y,x⟩-\alpha ⟨x,x⟩=0$$

(注：这里假设实数域方便理解，复数域结论一致)

移项得到：

$$\alpha ⟨x,x⟩=⟨y,x⟩$$

$$\alpha ||x|{|}^2=⟨y,x⟩$$

于是直接得到系数：

$$\alpha =\frac{⟨y,x⟩}{||x|{|}^2}$$

$\theta =(X^{T}X{)}^{-1}{X}^{T}Y$ 与 $\alpha =\frac{⟨y,x⟩}{||x|{|}^2}$

那么，为什么之前的最小二乘的解是$\theta =(X^{T}X{)}^{-1}{X}^{T}Y$，而范数推导出来的结果却是$\alpha =\frac{⟨y,x⟩}{||x|{|}^2}$ ？其实，它们本质上完全是同一个公式！

公式 $\theta =(X^{T}X{)}^{-1}{X}^{T}Y$ 是最小二乘法的通用矩阵形式（通常用于多元线性回归，比如一次求出几十个参数）。公式 $\alpha =\frac{⟨y,x⟩}{||x|{|}^2}$ 是这个通用公式在只求一个参数时的特例。

如果把通用公式里的矩阵 $X$ 缩减成只有一列的向量（记为 $x$），会发生什么神奇的变化。

第一步：代入通用公式

$$\theta =(X^{T}X{)}^{-1}{X}^{T}Y$$

因为我们现在只有一个特征（只求一个系数 $\alpha$），所以把矩阵 $X$ 换成向量 $x$，把 $Y$ 换成 $y$：

$$\alpha =(x^{T}x{)}^{-1}{x}^{T}y$$

第二步：理解 $x^{T}x$

• $x$ 是一个列向量 $(N\times 1)$。

• $x^T$ 是一个行向量 $(1\times N)$。

• 它们相乘 $x^{T}x$ 得到的是一个 $1\times 1$ 的数值（也就是一个标量）。

• 根据定义，向量自己和自己点乘，就是它的长度（范数）的平方：

  $$x^{T}x=||x|{|}^2$$

第三步：理解求逆 $(\dots {)}^{-1}$

• 对于矩阵，我们要算逆矩阵。

• 但对于一个标量（普通数字） ，求逆就是取倒数。

  $$(x^{T}x{)}^{-1}=\frac{1}{||x|{|}^2}$$

第四步：理解 $x^{T}y$

• 这就是两个向量的点积（内积）：

  $$x^{T}y=⟨y,x⟩$$

  (注：在实数域 *$x^{T}y=y^{T}x$*​ ，在复数域需注意共轭顺序，对应 *$⟨E,Gv⟩$*​ )

第五步：合体

把上面简化的结果拼回去：

$$\alpha =\underset{(X^{T}X{)}^{-1}}{\underbrace{\frac{1}{||x|{|}^2}}}\cdot \underset{X^{T}Y}{\underbrace{⟨y,x⟩}}$$

整理一下：

$$\alpha =\frac{⟨y,x⟩}{||x|{|}^2}$$

总结

• $\theta =(X^{T}X{)}^{-1}{X}^{T}Y$ 是屠龙刀（解决多变量复杂回归）。
• $\alpha =\frac{⟨y,x⟩}{||x|{|}^2}$ 是水果刀（解决单变量系数修正）。