人工智能概念之五：梯度下降和正规方程求解的区别

一、正规方程与梯度下降的核心差异

正规方程和梯度下降的区别，以及矩阵和求导的计算的介绍：网页链接

核心区别：正规方程通过矩阵运算直接求解析解，梯度下降通过迭代逼近最优解。

1.1 正规方程（一步求解）

公式：
$$\theta =(X^{T}X{)}^{-1}{X}^{T}y$$

• 条件：要求矩阵 $X^{T}X$ 可逆（非奇异）。
• 符号说明：
  • $\theta$：模型参数向量 $[{\theta }_0,{\theta }_1,...,{\theta }_n{]}^T$
  • $X$：设计矩阵，包含样本特征（第一列全1表示偏置项）
  • $y$：目标值向量

1.2 梯度下降（迭代优化）

更新公式：
$$\theta =\theta -\alpha \cdot \nabla L(\theta )$$

• 关键：学习率$\alpha$控制步长，需迭代至收敛。
• 符号说明：
  • $\alpha$：学习率（步长因子）
  • $\nabla L(\theta )$：损失函数 $L(\theta )$ 关于参数 $\theta$ 的梯度

二、简单例子：两个样本点的线性回归

线性回归概念：网页链接

2.1 实验数据

真实模型：$y=2x+1$，数据点：
$x=[1,2]$，对应 $y=[3,5]$

2.2 方法一：直接求导法（解析解）

1. 线性模型：
   $$y=wx+b$$
2. 损失函数：均方误差（MSE）
   $$L(w,b)=\frac{1}{2}\sum _{i=1}^2(w{x}_i+b-y_i{)}^2$$

均方误差（MSE）介绍：网页链接
注意：损失函数的功能为揭示真实值与预测值的差距，只要能正确揭示两者的差距可以任意修改损失函数，此处均方误差除以2是为了方便后续计算。

3. 分别对 $w$ 和 $b$ 求偏导并令导数为0：

   对 $b$ 求偏导：
   $$\frac{\partial L}{\partial b}=\sum _{i=1}^2(w{x}_i+b-y_i)=0$$
   展开得：
   $$(w\cdot 1+b-3)+(w\cdot 2+b-5)=0$$
   整理：
   $$3w+2b-8=0\text{(方程1)}$$

   对 $w$ 求偏导：
   $$\frac{\partial L}{\partial w}=\sum _{i=1}^2(w{x}_i+b-y_i)x_i=0$$
   展开得：
   $$(w\cdot 1+b-3)\cdot 1+(w\cdot 2+b-5)\cdot 2=0$$
   整理：
   $$5w+3b-13=0\text{(方程2)}$$

4. 解方程组：
   由方程1得：$b=\frac{8-3w}{2}$
   代入方程2：
   $$5w+3\cdot \frac{8-3w}{2}-13=0$$
   两边同乘2：
   $$10w+24-9w-26=0$$
   解得：$w=2$
   代入 $b=\frac{8-3\cdot 2}{2}=1$

5. 最终参数：
   $$w=2,b=1$$

2.3 方法二：正规方程求解

1. 设计矩阵X：
   $$X=\left[\begin{array}{cc}1& 1\\ 1& 2\end{array}\right]$$

2. 矩阵运算过程：

   计算 $X^{T}X$：
   $$X^{T}X={\left[\begin{array}{cc}1& 1\\ 1& 2\end{array}\right]}^T\left[\begin{array}{cc}1& 1\\ 1& 2\end{array}\right]=\left[\begin{array}{cc}2& 3\\ 3& 5\end{array}\right]$$

   计算行列式和逆矩阵：

   行列式：$\text{det}(X^{T}X)=2\cdot 5-3\cdot 3=1$

   逆矩阵：
   $$(X^{T}X{)}^{-1}=\frac{1}{1}\left[\begin{array}{cc}5& -3\\ -3& 2\end{array}\right]=\left[\begin{array}{cc}5& -3\\ -3& 2\end{array}\right]$$

   计算 $X^{T}y$：
   $$X^{T}y={\left[\begin{array}{cc}1& 1\\ 1& 2\end{array}\right]}^T\left[\begin{array}{c}3\\ 5\end{array}\right]=\left[\begin{array}{c}8\\ 13\end{array}\right]$$

   求解参数 $\theta$：
   $$\theta =(X^{T}X{)}^{-1}{X}^{T}y=\left[\begin{array}{cc}5& -3\\ -3& 2\end{array}\right]\left[\begin{array}{c}8\\ 13\end{array}\right]=\left[\begin{array}{c}1\\ 2\end{array}\right]$$

3. 结果：
   $${\theta }_0=1,{\theta }_1=2\text{即}b=1,w=2$$

2.4 直接求导与正规方程的本质是一样的

损失函数矩阵表示：
$$L(\theta )=\frac{1}{2}(X\theta -y{)}^T(X\theta -y)$$

展开并求导：
$$\nabla L(\theta )=X^{T}X\theta -X^{T}y$$

令梯度为0：
$$X^{T}X\theta -X^{T}y=0$$
移项得：
$$X^{T}X\theta =X^{T}y$$

两边左乘 $(X^{T}X{)}^{-1}$：
$$\theta =(X^{T}X{)}^{-1}{X}^{T}y$$

结论：

直接求导法和正规方程本质相同，正规方程是直接求导法的矩阵形式推广。

2.5 方法三：梯度下降求解

1. 初始化参数：

   $\theta =[0,0]$（即 $b=0,w=0$），学习率 $\alpha =0.3$，样本数 $n=2$

2. 损失函数： 均方误差（MSE）
   $$L(\theta )=\frac{1}{2n}\sum _{i=1}^n({\theta }_0+{\theta }_1{x}_i-y_i{)}^2$$

   • $\theta =[{\theta }_0,{\theta }_1{]}^T$：参数向量，${\theta }_0$为偏置，${\theta }_1$为斜率
   • $n$：样本数量（此处$n=2$）
   • 功能：通过平方误差衡量预测值$({\theta }_0+{\theta }_1{x}_i)$与真实值$y_i$的差距

3. 梯度公式详细推导

   目标：推导$\frac{\partial L}{\partial {\theta }_0}$和$\frac{\partial L}{\partial {\theta }_1}$

   步骤1：展开损失函数对${\theta }_0$的偏导
   $$\frac{\partial L}{\partial {\theta }_0}=\frac{\partial }{\partial {\theta }_0}\left[\frac{1}{2n}\sum _{i=1}^n({\theta }_0+{\theta }_1{x}_i-y_i{)}^2\right]$$

   • 提取常数项：$\frac{1}{2n}$与${\theta }_0$无关，可提到导数外

   • 应用链式法则：设$u_i={\theta }_0+{\theta }_1{x}_i-y_i$，则$(u_i^2)’=2u_i\cdot u_i’$

   • 对${\theta }_0$求导时，$\frac{\partial u_i}{\partial {\theta }_0}=1$

     推导过程：
     $$\begin{array}{rl}\frac{\partial L}{\partial {\theta }_0}& =\frac{1}{2n}\sum _{i=1}^{n}2({\theta }_0+{\theta }_1{x}_i-y_i)\cdot \frac{\partial ({\theta }_0+{\theta }_1{x}_i-y_i)}{\partial {\theta }_0}\\ & =\frac{1}{2n}\sum _{i=1}^{n}2({\theta }_0+{\theta }_1{x}_i-y_i)\cdot 1\\ & =\frac{1}{n}\sum _{i=1}^n({\theta }_0+{\theta }_1{x}_i-y_i)\end{array}$$

   步骤2：展开损失函数对${\theta }_1$的偏导
   $$\frac{\partial L}{\partial {\theta }_1}=\frac{\partial }{\partial {\theta }_1}\left[\frac{1}{2n}\sum _{i=1}^n({\theta }_0+{\theta }_1{x}_i-y_i{)}^2\right]$$

   • 对${\theta }_1$求导时，$\frac{\partial u_i}{\partial {\theta }_1}=x_i$（因为$u_i$中的${\theta }_1{x}_i$对${\theta }_1$的导数为$x_i$）

     推导过程：
     $$\begin{array}{rl}\frac{\partial L}{\partial {\theta }_1}& =\frac{1}{2n}\sum _{i=1}^{n}2({\theta }_0+{\theta }_1{x}_i-y_i)\cdot \frac{\partial ({\theta }_0+{\theta }_1{x}_i-y_i)}{\partial {\theta }_1}\\ & =\frac{1}{2n}\sum _{i=1}^{n}2({\theta }_0+{\theta }_1{x}_i-y_i)\cdot x_i\\ & =\frac{1}{n}\sum _{i=1}^n({\theta }_0+{\theta }_1{x}_i-y_i)x_i\end{array}$$

4. 迭代过程

   第1步：

   • 预测值：$\hat{y}=0+0\cdot x=[0,0]$
   • 误差：$\hat{y}-y=[-3,-5]$
   • 梯度：
     $$\frac{\partial L}{\partial {\theta }_0}=\frac{1}{2}\times (-8)=-4$$
     $$\frac{\partial L}{\partial {\theta }_1}=\frac{1}{2}\times (-13)=-6.5$$
   • 更新参数：
     $${\theta }_0=0-0.3\times (-4)=1.2$$
     $${\theta }_1=0-0.3\times (-6.5)=1.95$$

   第2步：

   • 预测值：$\hat{y}=1.2+1.95x=[3.15,5.1]$
   • 误差：$\hat{y}-y=[0.15,0.1]$
   • 梯度：
     $$\frac{\partial L}{\partial {\theta }_0}=\frac{1}{2}\times (0.25)=0.125$$
     $$\frac{\partial L}{\partial {\theta }_1}=\frac{1}{2}\times (0.4)=0.2$$
   • 更新参数：
     $${\theta }_0=1.2-0.3\times 0.125=1.1625$$
     $${\theta }_1=1.95-0.3\times 0.2=1.89$$

   第3步：

   • 预测值：$\hat{y}=1.1625+1.89x=[3.0525,4.9425]$
   • 误差：$\hat{y}-y=[0.0525,-0.0575]$
   • 梯度：
     $$\frac{\partial L}{\partial {\theta }_0}=\frac{1}{2}\times (-0.005)=-0.0025$$
     $$\frac{\partial L}{\partial {\theta }_1}=\frac{1}{2}\times (-0.06)=-0.03$$
   • 更新参数：
     $${\theta }_0=1.1625-0.3\times (-0.0025)=1.16325$$
     $${\theta }_1=1.89-0.3\times (-0.03)=1.98$$

结果对比：

步骤	θ₀（偏置）	θ₁（斜率）	误差（相对于真实值）
初始	0	0	θ₀: -1.0, θ₁: -2.0
3步后	1.16325	1.98	θ₀: +0.16325, θ₁: -0.02

结论：
梯度下降只需要进行多次迭代即可逼近损失的最小值 ${\theta }_0=1,{\theta }_1=2\text{即}b=1,w=2$。

三、正规方程的局限性：矩阵不可逆场景

3.1 特征共线导致矩阵不可逆

构造数据：
$x_1=[1,2,3]$, $x_2=2x_1=[2,4,6]$（特征完全共线），真实模型 $y=7x_1+1$，对应 $y=[8,15,22]$

注意：因为现实里真实模型往往是未知的（即 $y=7x_1+1$ 是未知的，是模型要求出来的未知数），但是一个样本有多少个特征（ $x$ ）往往是已知的，但特征与特征之间是否共线性却又是未知（即 $x_2=2x_1$ 是未知的）。正规方程处理的是输入数据中所有给定的特征矩阵，无论这些特征是否在真实模型中被实际使用，所以会出现矩阵不可逆的情况。

设计矩阵X：
$$X=\left[\begin{array}{ccc}1& 1& 2\\ 1& 2& 4\\ 1& 3& 6\end{array}\right]$$

矩阵运算：
计算 $X^{T}X$：
$$X^{T}X=\left[\begin{array}{ccc}3& 6& 12\\ 6& 14& 28\\ 12& 28& 56\end{array}\right]$$
观察发现：第3列 = 2×第2列（如12=6×2，28=14×2），即矩阵列线性相关，行列式为0，无法求逆。

3.2 特征共线下梯度下降计算**

损失函数（均方误差）：
$$L(\theta )=\frac{1}{2n}\sum _{i=1}^n({\theta }_0+{\theta }_1{x}_{1i}+{\theta }_2{x}_{2i}-y_i{)}^2$$

梯度向量（对各参数求偏导）：

• 对 ${\theta }_0$ 的梯度：
  $$\frac{\partial L}{\partial {\theta }_0}=\frac{1}{n}\sum _{i=1}^n({\hat{y}}_i-y_i)=\frac{1}{3}(-8-15-22)=-15$$
• 对 ${\theta }_1$ 的梯度：
  $$\frac{\partial L}{\partial {\theta }_1}=\frac{1}{n}\sum _{i=1}^n({\hat{y}}_i-y_i)x_{1i}=\frac{1}{3}[(-8)\times 1+(-15)\times 2+(-22)\times 3]=-\frac{104}{3}\approx -34.6667$$
• 对 ${\theta }_2$ 的梯度：
  $$\frac{\partial L}{\partial {\theta }_2}=\frac{1}{n}\sum _{i=1}^n({\hat{y}}_i-y_i)x_{2i}=\frac{1}{3}[(-8)\times 2+(-15)\times 4+(-22)\times 6]=-\frac{208}{3}\approx -69.3333$$

4. 参数更新
   $$\begin{array}{rl}{\theta }_0& =0-\alpha \times (-15)=0+0.01\times 15=0.15\\ {\theta }_1& =0-\alpha \times (-34.6667)=0+0.01\times 34.6667\approx 0.3467\\ {\theta }_2& =0-\alpha \times (-69.3333)=0+0.01\times 69.3333\approx 0.6933\end{array}$$
5. 后续过程：
   • 第2次迭代后：
     ${\theta }_0\approx 0.285$, ${\theta }_1\approx 0.6540$, ${\theta }_2\approx 1.3080$
   • 第3次迭代后：
     ${\theta }_0\approx 0.4065$, ${\theta }_1\approx 1.0311$, ${\theta }_2\approx 2.0622$
   • 第4次迭代后：
     ${\theta }_0\approx 0.5158$, ${\theta }_1\approx 1.4763$, ${\theta }_2\approx 2.9526$
   • 第5次迭代后：
     ${\theta }_0\approx 0.6142$, ${\theta }_1\approx 1.9863$, ${\theta }_2\approx 3.9726$
   • 第6次迭代后：
     ······

关键关系：
每次迭代后 ${\theta }_1+2{\theta }_2$ 均逼近真实值 7（如第5次迭代后：$1.9863+2\times 3.9726\approx 9.9315$），且 ${\theta }_0$ 逼近真实偏置 1。

结论：
尽管特征完全共线导致正规方程失效，梯度下降仍能通过迭代找到满足模型约束的参数解（如 ${\theta }_0\to 1$, ${\theta }_1+2{\theta }_2\to 7$），验证了其在矩阵不可逆场景下的有效性。

四、为什么正规方程加全1列能代表偏置b？

线性模型本质：
标准线性模型为 $y={\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2+\cdots +{\theta }_n{x}_n$，其中 ${\theta }_0$ 是偏置项（不依赖特征的常数项）。

矩阵乘法映射：
若构造特征矩阵 $X$ 的第一列为全1，即：
$$X=\left[\begin{array}{cccc}1& x_{11}& x_{12}& \dots \\ 1& x_{21}& x_{22}& \dots \\ ⋮& ⋮& ⋮& \ddots \end{array}\right]$$
参数向量 $\theta =[{\theta }_0,{\theta }_1,{\theta }_2,\dots {]}^T$，则矩阵乘法 $X\theta$ 为：
$$\left[\begin{array}{c}1\times {\theta }_0+x_{11}\times {\theta }_1+x_{12}\times {\theta }_2+\dots \\ 1\times {\theta }_0+x_{21}\times {\theta }_1+x_{22}\times {\theta }_2+\dots \\ ⋮\end{array}\right]$$
可见，全1列与 ${\theta }_0$ 相乘后，恰好对应模型中的偏置项，实现了“常数项+特征加权和”的统一矩阵表达。

五、大数据场景下的计算复杂度对比

5.1 高维海量数据案例

场景设定：

• 样本数量：$n=10^8$（1亿条数据）
• 特征维度：$d=10^5$（10万维特征）
• 模型：线性回归 $y={\theta }_0+{\theta }_1{x}_1+\cdots +{\theta }_d{x}_d$

正规方程的计算瓶颈：

1. 矩阵规模：设计矩阵 $X$ 大小为 $10^8\times (d+1)$，计算 $X^{T}X$ 得到 $(d+1)\times (d+1)$ 的矩阵（此处为 $100001\times 100001$）。
2. 时间复杂度：矩阵求逆的时间复杂度为 $O(d^3)$，当 $d=10^5$ 时，求逆运算需约 $(10^5{)}^3=10^{15}$ 次浮点操作（单机按每秒10^10次运算需约115天）。
3. 内存消耗：存储 $X^{T}X$ 矩阵（双精度浮点）需 $100001\times 100001\times 8\approx 80GB$，求逆过程中中间变量可能占用数百TB内存（远超普通服务器配置）。

梯度下降的可行性：

1. 小批量梯度下降（SGD）：每次迭代处理 $m=100$ 个样本，计算量为 $O(md)=100\times 10^5=10^7$ 次操作。
2. 时间效率：1亿样本分为 $10^6$ 个批次，100次迭代总操作量为 $10^7\times 100=10^9$ 次（单机秒级完成，分布式可进一步加速）。
3. 分布式支持：数据分块至1000个节点，每节点处理10万样本，梯度并行计算效率提升近千倍。

5.2 复杂模型场景（非凸优化）

案例：神经网络模型（如GPT-3）

• 参数数量：约 $175\times 10^9$（1750亿参数）
• 损失函数：交叉熵损失（非凸函数）

正规方程的局限性：

• 参数维度达1750亿，矩阵求逆在数学上无解（矩阵规模超宇宙原子数量级）；
• 非凸损失函数无解析解，正规方程理论失效。

梯度下降的优势：

• 通过反向传播分批次迭代更新，单卡（A100）可处理万亿次操作/秒；
• 自适应优化器（如AdamW）可缓解高维空间鞍点问题；
• 分布式训练框架（如Megatron-LM）支持千亿参数模型并行训练。

六、为何现代模型训练以梯度下降为主？

6.1 数据与模型趋势的驱动

1. 数据规模爆炸：

   • 互联网日均产生数据超50ZB，正规方程无法处理PB级数据的矩阵运算；
   • 梯度下降的在线学习特性支持实时数据流（如推荐系统每秒百万次更新）。

2. 模型复杂度提升：

   • 多模态模型（如GPT-4V）参数规模达万亿，仅梯度下降支持分阶段训练；
   • 非凸优化场景（如生成对抗网络GAN）必须通过迭代逼近纳什均衡。

6.2 计算资源与算法的适配

• 内存友好：梯度下降单次迭代内存占用为 $O(md+p)$（$p$为参数数量），而正规方程为 $O((d+1{)}^2)$，当 $d=10^5$ 时差距达百万倍；
• 容错性强：梯度下降对学习率鲁棒性高（如使用余弦退火策略），而正规方程在矩阵病态时解误差可达10^6倍以上。

七、总结

方法	核心逻辑	优势场景	劣势场景
正规方程	矩阵直接求逆	极小规模数据（n<10^4，d<100）、凸函数	超大规模数据（n>107）、高维（d>104）、非凸模型
梯度下降	迭代优化	海量数据、百万维特征、非凸模型、实时学习	需调参、高维空间可能陷入局部最优（需优化策略）

工程实践结论：
当数据量突破10^{7且特征维度超10}4时，梯度下降成为唯一可行方案。现代AI领域（如大模型训练）完全依赖梯度下降体系，正规方程仅作为理论工具存在。