正规方程

最新推荐文章于 2024-04-06 15:44:25 发布
原创 最新推荐文章于 2024-04-06 15:44:25 发布 · 599 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

目录

1.正规方程

2.该如何选择使用哪个方法，他们的优缺点是什么？

3.正规方程在不可逆情况下的解决办法

1.正规方程

使用正规方程求\theta只需要一步就可以得到\theta的最优值，那么现在假设训练样本集中的m=4，可以得到下面一个表格，

在这个表格中，最终我们得到用矩阵x和向量y来计算\theta的方式

下面讲了当有m个训练样本时的情况，那么构建X即设计矩阵的方式如下

那么，在Octave中用这条语句来实现求最优化\theta即pinv(X'*X)*X'*y，其中X'代表的是X的转置

2.该如何选择使用哪个方法，他们的优缺点是什么？

使用正规方程是不需要特征缩放的

假如你有m个训练样本和n个特征变量时，使用梯度下降算法要选择学习速率a，通常要运行很多次，尝试不同的学习速率a找到运行效果最好的那个

同时使用梯度下降算法需要很多次的迭代，可能会使计算速度很慢。

而对于正规方程来说，不需要选择学习速率，很方便而且容易实现。但是如果特征变量的数量n很大的话，那么计算量就很大，速度就会变慢，

所以如果当n很大时，使用梯度下降法会比较快，但如果n比较小，那么使用正规方程就会比较好。

如果n超过一万，那么使用正规方程可能就会变慢。

3.正规方程在不可逆情况下的解决办法

如果你的X'X是一个不可逆的矩阵，那么你首先需要看你的特征向量里面有没有多余的特征，例如这种X1和X2是线性相关的，或者互为线性函数，如果有多余的向量可以删除两者之一，将会解决不可逆的问题。如果没有多余的特征需要检查是否存在过多的特征向量，如果不影响可以删除少数特征，解决这个问题。

 

 

 

机器学习-线性回归-正规方程
藏经阁 | 玄苦
08-10 3407
1. 正规方程前面几篇文章里面我们介绍了求解线性回归模型第一个算法 梯度下降算法，梯度下降算法最核心的是找到一个学习速率α，通过不断的迭代最终找到θ0 ... θn, 使得J(θ)值最小。今天我们要介绍一个解决线性回归模型新的算法 正规方程 对于函数f(x) = ax^2 + bx + c 而言，要求其最小值，是对其求导数并且设置导数值为0.我们知道，多维特征变量的线性回归模型中，代价函数表达式，
线性回归中正规方程法介绍
绎岚科技的博客
06-27 2299
在数学的广袤领域中，线性方程作为最基本的数学模型之一，承载着无数的实际问题和科学理论。而在求解线性方程组的过程中，正规方程（Normal Equation）以其独特的地位和作用，为我们提供了一种高效且准确的解法。正规方程，作为线性最小二乘问题的基石，不仅在数学理论研究中占据重要位置，更在数据分析、机器学习、物理建模等领域发挥着不可替代的作用。接下来，我们将一同探索正规方程的奥秘，领略其在解决实际问题中的独特魅力。
正规方程、、、
weixin_36670529的博客
06-24 2321
目录 一、什么是正规方程 二、正规方程的使用 三、不可逆情况 四、正规方程与梯度下降法的比较 一、什么是正规方程 梯度下降法计算参数最优解，过程是对代价函数的每个参数求偏导，通过迭代算法一步步更新，直到收敛到全局最小值，从而得到最优参数。 正规方程是一次性求得最优解。 思想：对于一个简单函数，对参数求导，将其值置为0，就得到参数的值。像下面这样： ............
正规方程（Normal Equation）
weixin_43970882的博客
03-06 2287
在线性回归的梯度下降法当中，求损失函数J(θ)中θ的最优解是根据损失函数的斜率（梯度）来判断J(θ)是否收敛，需要多次迭代。 在某些情况中可以使用正规方程直接求θ的最优解。 正规方程的优缺点： 优点： 1.不需要指定学习速率α 2.不需要进行多次迭代 缺点： 1.由于正规方程需要求解(XTX)-1，所以当n很大（n>10000）时进行计算的速度会很慢。 2.正规方程只适用于线性方程求解，适用...
正规方程回归算法Python实现
10-07
正规方程回归算法Python实现 原始数据 假设关系为 y=3+x+2z ==== y=a+bx+cz 。。。 canshu=(bianliang.T*bianliang).I*bianliang.T*y #.T转置，.I逆矩阵,*矩阵相乘
机器学习-线性回归-正规方程组算法源码
01-19
正规方程组通过计算成本函数对每个θj的偏导数，求出偏导为零的点来成本函数的最小值。为了不必写大量的代数式和矩阵导数，让我们约定一些矩阵计算的符号
【机器学习】正规方程的推导
myqueen_way的博客
04-06 1413
本文主要介绍正规方程的数学推导，也回顾一些基本的线性代数的一些知识，便于自身查阅。
线性最小二乘正规方程组法
04-16
### 线性最小二乘正规方程组法详解 #### 一、基本概念与原理 **线性最小二乘法**是一种广泛应用于数学、工程学、物理学等多个领域的数值计算方法，主要用于解决过定问题（即方程个数多于未知数个数的情况）。其...
正规方程(Normal Equation)
岁寒良木的博客
08-05 5594
正规方程法是通过求解某个方程来找出使得代价函数最小的参数的方法，本文对比了梯度下降和正规方程两种方法。
正规方程(normal equation)
qq_39875876的博客
05-24 754
正规方程(normal equation) 线性回归模型求拟合函数的最优参数，一般有两种方法： 梯度下降法，过程是对损失函数的每个参数求偏导，通过迭代一步步更新，直至收敛到局部或全局最小值，从而得到最优参数。 正规方程，过程是对于一个损失函数，将其对参数求导，得到导函数并将其值置为0，从而解出最优参数。 下面是正规方程的推导： 线性回归模型： f(x)=w0+w1x1+w2x2+⋯+wdxd f(x)=w_0 + w_1x_1+w_2x_2+\dots+w_dx_d\\ f(x)=w0​+w1​x1​+
监督学习应用.正规方程组
Cheese的博客
07-20 856
《Andrew Ng 机器学习笔记》这一系列文章文章是我再观看Andrew Ng的Stanford公开课之后自己整理的一些笔记，除了整理出课件中的主要知识点，另外还有一些自己对课件内容的理解。同时也参考了很多优秀博文，希望大家共同讨论，共同进步。
Normal Equation——正规方程
weixin_64924692的博客
12-11 888
正规方程通过方程求解找出使得损失函数最小的时参数值，由于涉及到矩阵求导，这里直接给出通过solution求出的矩阵的结果可能会出现矩阵不可逆的情况计算逆矩阵时间复杂度为O(n^3)，当n较大时时间代价高，当n小于10000时可以接受此外使用正规方程，不用进行特征缩放。
正规方程（区别于迭代方法的直接解法）
up_XCY的博客
01-15 1108
  为了求出最优解θ，假如θ是个实数，我们可以求导，令倒数等于0得到θ。 但是这里θ是一个N维向量，我们可以运用微积分的知识，分别对θ1.2.3.求偏导数令其为0得到。 但是本节我们运用正规方程一步求出θ。 正规方程求解： 上图出现错误应该将x的上下限交换： 牢记结果：   梯度下降法与正规方程比较的优缺点： 1. 正规方程，可以一步得到回归问题的最优解。 2. ...
正规方程组(The normal equations)
热门推荐
y小川的专栏
04-09 1万+
2. 正规方程组上一节的梯度下降是一种最小化成本函数JJ的方法。这一节我们将介绍另一种算法也可以实现该功能且不需要使用迭代。正规方程组通过计算成本函数对每个θj\theta_j的偏导数，求出偏导为零的点来成本函数的最小值。为了不必写大量的代数式和矩阵导数，让我们约定一些矩阵计算的符号。2.1 矩阵导数对于一个函数f:Rm×n→Rf: \Bbb{R}^{m \times n} \to \Bbb{R}，
13、正规方程
It's You--MXL
04-13 211
对于某些线性回归问题，正规方程方法是更好的解决方案。 在微积分中：通常如果要确定参数????的值，会求出对应的偏导，然后置零，解出???? 。 假设我们的训练集特征矩阵为 X（包含了 X0 = 1）并且我们的训练集结果为向量y，则利用正规方程解出向量????: 以下表示数据为例: ????结果为： ...
ML笔记——正规方程
木木的笔记
05-09 551
目录 想法 数学表示 胡思乱想时刻 想法 对于一个连续的函数，比如：y=ax2+bx+cy=ax2+bx+cy=ax^2+bx+c的极值点可以通过求导来确定。 对于y′=2ax+by′=2ax+by' = 2ax + b，当y′=0y′=0y' = 0时，有x=−b2ax=−b2ax = -\frac{b}{2a}，此时取得极值。 数学表示 对于代价函数 J(...
正规方程法
最新发布
05-22
### 正规方程法在机器学习与数学优化中的应用 #### 1. 正规方程法概述 正规方程是一种用于求解线性回归问题的解析方法，它通过矩阵运算直接计算出最优参数值。这种方法的核心在于通过对代价函数 \( J(\theta) \) 的偏导数设置为零来获得参数的最佳估计[^1]。 在线性回归中，假设输入数据集表示为矩阵 \( X \)，目标变量为向量 \( y \)，那么可以通过以下公式得到最佳参数 \( \theta \)： \[ \theta = (X^T X)^{-1} X^T y \] 此公式的推导基于最小化均方误差的目标函数，并利用了矩阵微分的知识[^5]。 --- #### 2. 正规方程法的应用场景 正规方程法适用于小型至中型的数据集，在这些情况下，矩阵操作的时间复杂度是可以接受的。然而，当特征数量较大时（例如超过几万），由于需要计算逆矩阵 \( (X^T X)^{-1} \)，时间复杂度会显著增加，因此不建议在这种情形下使用正规方程法[^4]。 以下是正规方程的一些典型应用场景： - **数据分析**：快速获取线性关系下的模型参数。 - **科学研究**：构建简单的因果关系模型。 - **工程实践**：处理低维空间内的预测任务。 --- #### 3. 正规方程的推导过程 正规方程的推导依赖于以下几个关键步骤： 1. 定义代价函数 \( J(\theta) \) 表达式： \[ J(\theta) = \frac{1}{2m} \sum_{i=1}^{m}(h_\theta(x^{(i)}) - y^{(i)})^2 \] 这里 \( h_\theta(x) = \theta^T x \)[^3]。 2. 将代价函数改写成矩阵形式： \[ J(\theta) = \frac{1}{2m} \|X\theta - y\|^2_2 \][^5]。 3. 对 \( J(\theta) \) 关于 \( \theta \) 求导并令其等于零： \[ \nabla_\theta J(\theta) = \frac{1}{m} X^T(X\theta - y) = 0 \][^5]。 4. 解得最终的正规方程表达式： \[ \theta = (X^T X)^{-1} X^T y \][^5]。 这一过程中涉及到了矩阵转置、矩阵乘法以及矩阵求逆等基本概念。 --- #### 4. 实现代码示例 下面是一个 Python 中实现正规方程法的小例子： ```python import numpy as np def normal_equation(X, y): theta = np.linalg.inv(X.T.dot(X)).dot(X.T).dot(y) return theta # 示例数据 X = np.array([[1, 1], [1, 2], [1, 3]]) y = np.array([1, 2, 3]) # 调用正规方程法 theta = normal_equation(X, y) print("Optimal parameters:", theta) ``` 这段代码展示了如何通过 NumPy 库完成正规方程的计算[^1]。 --- #### 5. 局限性和改进方向 尽管正规方程具有简单直观的优点，但它也存在一些局限性： - 当样本数量较多或维度较高时，\( (X^T X)^{-1} \) 的计算成本可能过高。 - 如果 \( X^T X \) 是奇异矩阵，则无法直接求逆，需采用正则化手段加以修正。 针对这些问题，梯度下降算法通常被作为一种替代方案提出，尤其是在大规模数据集中表现更为优越。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值