一些数学公式证明

1. 最小二乘问题的几种证法

1.1

考虑最小二乘问题: ，AX表示在A线性空间中的一组线性组合而成的一个向量，使其到b向量距离最短，由于最小二乘是超定方程，所以b向量维度比AX维度高的，什么时候取到最短，当且仅当时，如图所示：

b-AX垂直于A的向量空间，则有：

得证: 

1.2 

取到极值时，倒数为0

再根据矩阵求导法则 :

，得证

2. 为什么海森矩阵半正定不能确定最小值

因为，由于在极值处值为0，因此，是否时极值取决于的符号，当也为0时，就要取决于更高次的导数了，因此半正定无法确定最小值。反之，如果为正定矩阵，则肯定在x处取得最小值

3. 样本方差为什么是

证明：

又因为

所以，根据泰勒公式及协方差传播定律有：

带入上式得：

4. 李代数伴随矩阵证明

To expand on the existing answer: for me the tricky part was actually going from eq. 23 to eq. 24. There's probably an easier way to see it, but here's how I did it.

Recall that for a vector uu, the matrix u×u× is defined as the linear transformation

u×::v↦u×v.u×::v↦u×v.

So the identity R⋅ω×⋅R−1=(Rω)×R⋅ω×⋅R−1=(Rω)× can be intuitively interpreted as "[unrotating, then crossing with ωω, then rotating] is the same as [crossing with a rotated ωω]". We can prove this identity by letting the RHS of the identity act upon an arbitrary vector vv:

(Rω)×v=(Rω)×v=(Rω)×(RR−1v)=R[ω×(R−1v)]=Rω×R−1v,(Rω)×v=(Rω)×v=(Rω)×(RR−1v)=R[ω×(R−1v)]=Rω×R−1v,

where we have used the fact that for any rotation matrix UU and vectors a,ba,b we have

(Ua)×(Ub)=U(a×b)

5. 两种最小二乘公式的等价性证明

解释为什么  和  等价

要证明

我们需要利用矩阵的性质和伪逆的概念。以下将详细解释这一等式成立的原因。

---

1. 矩阵伪逆的性质

对于任意矩阵 J，其Moore-Penrose伪逆（记为 ）可以根据矩阵的形状和秩来定义：

• 当 J 是满列秩的矩阵（列向量线性无关，矩阵为高而窄，即行数大于等于列数，且满秩），则：

  

• 当 J 是满行秩的矩阵（行向量线性无关，矩阵为扁而宽，即列数大于等于行数，且满秩），则：

  

在这种情况下，这两种形式的伪逆可以用来解释所给等式的等价性。

---

2. 利用SVD分解证明

假设矩阵 J 的奇异值分解（SVD）为：

其中：

• U 是 m×m 的正交矩阵；
• Σ 是 m×n 的对角矩阵，包含 J 的奇异值；
• V 是 n×n 的正交矩阵。

基于SVD分解，我们可以计算：

(1) 计算 ：

首先，计算：

由于，其中 为单位矩阵。

因此，

所以：

(2) 同理

(3) 比较两个结果：

我们发现：

注意到  和 都是对角矩阵，其逆矩阵也都是对角矩阵,有

因此，我们可以得出：

6. 证明：

证明：

于是：