本文介绍了解决线性回归问题的正规方程方法，它通过解析方式找到使代价函数最小化的参数，适用于特征数量不大于样本数量的情况。文章对比了正规方程与梯度下降两种方法的特点。
- Normal equation
到目前为止，线性回归问题中都在使用梯度下降算法，但对于某些线性回归问题，正规方程方法是更好的解决方案。
正规方程就是通过求解如下方程来解析的找出使得代价函数最小的参数：
假设我们的训练集特征矩阵为X，我们的训练集结果为向量y，则利用正规方程解出向量：
以下表所示的数据为例：
运用正规方程方法求解参数为：
注意：对于那些不可逆的矩阵（通常是因为特征之间相互不独立，如同时包含英尺为单位的尺寸和米为单位的尺寸两个特征，或者是因为特征数量大于训练集的数量），正规方程的方法是不可用的。
梯度下降与正规方程的比较如下所示：
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
