Normal Equation

关注

原创最新推荐文章于 2026-09-17 14:54:17 发布 380 阅读 AI 写同款· GEO 优化 ›

Normal Equation解析解原理与生产级鲁棒实现 Normal Equation是线性回归的闭式解，本质是将标签向量正交投影到特征列空间，直接求得最小二乘最优参数。其核心在于矩阵方程 $X^T X \theta = X^T y$ 的确定性求解，无需迭代、无随机性、结果唯一。技术价值在于提供可复现、低依赖、高精度的解析解，在小样本、边缘部署、合规审计等场景不可替代。但实际应用受制于 $X^T X$ 的病态性、秩亏与维度爆炸三大瓶颈，需结合岭回归、Cholesky/SVD分解及特征标准化等工程手段提升鲁棒性。本文聚焦Normal Equation在真实项目中的阅读详情

一.标准化方程

在前面的梯度下降法中我们提到过如何用矩阵来表示线性回归:

X θ = Y

$X\theta=Y$ 那么是否可以直接用矩阵运算来解决参数

θθ $\theta$ 的取值问题呢?答案是可以的,即利用如下公式便可一步得到

θθ $\theta$ 的值:

θ = (X T X) - 1 X T Y

$\theta=(X^TX)^{-1}X^TY$
但是该式子会引出以下在线性代数的相关问题.

1.为什么不直接使用式子 $YX^{-1}$ 求解

原因很简单,当X不是方阵时,X是不存在逆矩阵的,所以需要通过 $(X^TX)^{-1}X^T$ 来间接求逆矩阵,那么又引出下一问题

2.若 $X^TX$ 不存在逆矩阵呢

$X^TX$ 不存在逆矩阵,通常存在以下情况中:
1. 存在两个相关的特征量,例如住宅面积使用了 $m^2$ 和英亩两种单位作为两个特征量,那么会使得矩阵 $X^TX$ 不满秩,这时删除其中一个特征量即可.
2. 特征量的值大于训练数据个数,也会导致不满秩,此时需要删除一些特征量或进行标准化(不太清楚标准化).

二.标准化方程与梯度下降比较

$\space$	标准化方程	梯度下降
优点	无需选取学习率α,无需迭代	当训练数据个数n很大时,速度也较为平稳
缺点	由于求逆运算的复杂度为 $O(n^3)$ ,所以当n很大时,求解时间过长	需要调整学习率α,使收敛速率和准确度达到平衡