吴恩达机器学习笔记（2）——正规方程

最新推荐文章于 2025-05-26 16:38:55 发布

By-Q

最新推荐文章于 2025-05-26 16:38:55 发布

阅读量141

点赞数

分类专栏：机器学习文章标签：机器学习

版权

2 篇文章

订阅专栏

本文介绍了机器学习中两种重要的参数优化方法——正规方程和梯度下降。正规方程通过求解线性代数方程直接找到最优解，不需要学习率，但当特征过多时计算复杂度高。而梯度下降则适用于大规模数据，虽需调整学习率且需迭代，但在高维情况下表现更优。内容来源于吴恩达课程和黄海广公众号资料的个人学习笔记整理。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1、声明

本文章所应用材料来源于吴恩达老师的机器学习课资料、黄海广老师的公众号下载的整理资料、本文所有内容为个人学习笔记的整理,并非原创。（因为也不是转载，所以发表标签设置为原创，在此声明）

正规方程是通过求解下面的方程来找出代价函数最小的参数

假设我们的训练集特征矩阵为X，包含了x0=1；并且我们的训练集结果为向量y，则利用正规方程解出向量

$\theta =(X^{T}X^{-1})X^{T}y$

下面的数据可作为例子直观的感受

	梯度下降	正规方程
优点	当特征值n过于多时，梯度下降仍可以很好的求解出 $\theta$	不需要学习率 $\alpha$
优点	当特征值n过于多时，梯度下降仍可以很好的求解出 $\theta$	不需要迭代计算
缺点	需要学习率 $\alpha$	当特征值n过于多时，计算会变慢
缺点	需要迭代计算	当特征值n过于多时，计算会变慢