正规方法推到过程

最新推荐文章于 2024-10-19 12:46:24 发布
最新推荐文章于 2024-10-19 12:46:24 发布
阅读量490 收藏
点赞数 1
分类专栏： Machine Learn AI 文章标签： 线性回归 正规方法
那啥，之前笔记里这部分是略过的。这里整理一下吧。有兴趣的可以对照看看和你推倒的过程一样不。

我们先回顾一下，我们定义观测结果y和预测结果y'之间的差别为Rss:

Rss = \sum_{i=1}^{n}({y_i-y_i'} )^2= \sum_{i=1}^{n}({y_i-h(x_i)} )^2 = (y-h(X))^T*(y-h(X))

设若参数的矩阵为\theta,则h(X)=\theta*X

那么Rss = (y-h(X))^T*(y-h(X)) = (y-X*\theta)^T*(y-X*\theta)

按照我们的定义，这个Rss的意思是y和y'之间的差，那么当Rss无限趋近于0的时候，则y≈y'，即我们求得的预测结果就等于实际结果。

于是，令Rss等于某一极小值\delta ，则(y-X*\theta)^T*(y-X*\theta) ==\delta

对参数\theta求导，得：

\frac{d}{d(\theta)}(y-X*\theta)^T*(y-X*\theta)== 2X^T*(y-X*\theta)==0

展开，得 2X^T*y==2*X^T*X*\theta

进而就可以得到\theta ==(X^T*X)^{-1}*X^T*y

于是我们就得到正规方程了。

再讲一个推导方式：

我们可以用矩阵乘法：

Y=X\theta

两边同时乘以X^T

X^TY=X^TX\theta

然后再乘以(X^TX)^{-1}

(X^TX)^{-1}X^TY=(X^TX)^{-1}X^TX\theta

就得到\theta = (X^TX)^{-1}X^TY

……不过这第二种方法是在知道了正规方程是什么以后再推导的。虽然看起来很快，然而并没有告诉你为什么。

转载：https://zhuanlan.zhihu.com/p/22474562

正规方程（Normal Equation）推导
qq_40527427的博客
04-27 644
正规方程作为处理回归问题的一种一步到位的方法，对于特征数不是很大的训练集简单且实用，它实质上是一种最小二乘法的应用，推导过程如下。 首先，线性回归的代价方程为： 我们的目的是：得到这么一个向量，使得取最小值。 已知条件：是一个凸函数。 令： ...
最小二乘法正规方程推导过程
Cjjkstra的博客
10-26 1万+
最小二乘法正规方程推导过程线性回归岭回归：添加 L2L_2L2​ 正则项 输入样本 X∈Rm×n\textbf{X}\in \mathbb{R}^{m\times n}X∈Rm×n，输出 y∈Rm×1\textbf{y}\in\mathbb{R}^{m\times 1}y∈Rm×1，需要学习的参数 w∈Rn×1\textbf{w}\in \mathbb{R}^{n\times 1}w∈Rn×1。其中，mmm 为样本个数，nnn 为单个样本维度。 线性回归 最小化目标函数 J(w)=12∥y−Xw∥22J(\
正规方程求解特征参数的推导过程
热门推荐
chenlin41204050的博客
10-12 1万+
多变量线性回归代价函数为： 其中： 正规方程是通过求解下面的方程来找出使得代价函数最小的参数： 设有m个训练实例，每个实例有n个特征，则训练实例集为： 其中表示第i个实例第j个特征。 特征参数为： 输出变量为： 故代价函数为： 进行求导，等价于如下的形式： 其中第一项： 第二项： 该矩阵求导为分母布局下的标量/向量形式： 故有...
正规方程（Normal equations）推导过程
Momentum
06-16 3699
正规方程是线性回归问题中区别于梯度下降的一种求解代价函数J(θ)最小值的方法。 首先将代价函数转换为矩阵形式： 欲求J(θ)最小值，只需令: ▽θJ(θ)=0 ▽_\theta J(\theta) = 0 ▽θ​J(θ)=0 推导过程： 第三个等式由来：一个实数的迹即其本身。 第四个等式由来： (1)            trA=trAT (1)\,\,\,\,\,\,\,\,\,\,\,\, tr A = tr A^T (1)trA=trAT (2)              tryTy=0 (2
机器学习：正规方程(Normal Equation)的推导
Mao_Jonah的博客
08-28 2989
https://blog.youkuaiyun.com/xidianliutingting/article/details/51673207
正规方程推导
qq_36782366的博客
04-04 514
矩阵的微分和矩阵的迹（前置知识了解） 进行推导之前，需要引入矩阵迹的概念，因为迹是求解一阶矩阵微分的工具。 矩阵迹的定义是 简单的说就是左上角到右下角对角线上元素的和。 接下来有几个性质在下面推导过程中需要用到： ， a 是标量 () 更近一步 证明：假设 A 是矩阵， B 是矩阵，则有同理：连起来，即 证明：按照矩阵梯度的定义：假设 A...
线性回归 正规方程详细推导过程
午觉的博客
11-02 1万+
最近在学习吴恩达的机器学习，讲到里面了比较简单的求出的方法：正规方程。 视频里只告诉我们这个公式，但是没有具体告诉我们推到过程，对于我这种数学学渣来说实在一眼看不出来是什么意思，查了很久才稍微懂了点点，所以在此记录一下推导过程，也希望能帮助到和我一样的数学学渣。     首先列出代价函数，其中X，Y，是向量或者矩阵。 接下来我们要对代价函数Ĵ中预测值与真实值的差的平方的累加进行求导。 ...
【机器学习】正规方程的推导
myqueen_way的博客
04-06 1266
本文主要介绍正规方程的数学推导，也回顾一些基本的线性代数的一些知识，便于自身查阅。
正规方程（normal equation）的三种推导方法
叫我咸鱼就好
03-03 1711
吴恩达机器学习课程代码笔记02 代码 在第四节课Linear Regression with Multiple Variables中，实现normal equation的一行代码。 %----X = pinv(A),求矩阵 A 的广义逆矩阵 %----不使用 inv() 的原因在于不确定矩阵 A 是否为方阵 pinv(X'*x)*x'*y normal equation的推导 在吴恩达老师的机器...
线性回归的正规方程推导
BIG_Ribbit的博客
12-13 909
线性回归的正规方程推导参考资料 除了梯度下降法，我们还可以用正规方程法来求线性回归模型。 设样本数量为mmm，每个样本有nnn个特征，线性回归模型hθ(x)h_\theta(x)hθ​(x)为： hθ(x)=θ0x0+θ1x1+θ2x2+⋯+θnxn=θTxh_\theta(x) = \theta_0x_0+\theta_1x_1+\theta_2x_2+\cdots+\theta_nx_n=\theta^Txhθ​(x)=θ0​x0​+θ1​x1​+θ2​x2​+⋯+θn​xn​=θTx 其中每个样本数据
正规方程推导过程
zhongranxu的专栏
03-13 634
定义观测结果y和预测结果y'之间的差别为Rss:设若参数的矩阵为,则那么按照我们的定义，这个Rss的意思是y和y'之间的差，那么当Rss无限趋近于0的时候，则y≈y'，即我们求得的预测结果就等于实际结果。于是，令Rss等于某一极小值，则对参数求导，得：展开，得进而就可以得到于是我们就得到正规方程了。再讲一个推导方式：我们可以用矩阵乘法：两边同时乘以然后再乘以就得到...
正规方程推导（Normal equation）
welcom_的博客
11-20 465
normal equation 推导思路 先推导，用例数目m=2时，X=[1x111x12],Y=[y11y12],θ=[θ11θ12]先推导，用例数目m=2时，X=\begin{bmatrix} 1 & x_1^1 \\ 1 & x_1^2 \\ \end{bmatrix},Y= \begin{bmatrix} y_1^1 \\ y_1^2 \\ \end{...
机器学习——线性回归中正规方程组的推导
小红的博客
11-22 9262
对于某些线性回归问题，正规方程方法是更好的解决方案，这种方法是对（代价函数）求的导数并使其为0，它能够不需要迭代直接求出。如下： 本文将涉及矩阵的求导，以下先对矩阵求导做出介绍。 首先定义表示m×n的矩阵，那么对该矩阵进行求导可以用下式表示，可以看出求导后的矩阵仍然为m×n 这里要用到矩阵迹的特性，trace. 对于一个n阶的方阵（n×n）,它的迹(tr)为对角线元素之和： 1.
正规方程推导，详细版
woai110120130的专栏
10-19 1217
Jθ12m∑i1mhθxi−yi2Jθ2m1​∑i1m​hθ​xi−yi2mmm是样本数量。xix^{(i)}xi是第iii个样本的特征向量。yiy^{(i)}yi是第iii个样本的实际值。hθxihθ​xi是模型对第iii个样本的预测值。θ\thetaθ是模型的参数向量。在求导过程中，我们使用了矩阵微积分的规则，特别是关于二次型和线性项的导数。
线性回归中正规方程(最小二乘法)推导
Lemon的博客
02-14 6782
正规方程是通过求解代价函数的导数，令导数为0来求theta的值。 第一个等式是线性回归的代价函数，第二个等式是将其写成向量化的形式。 我们知道向量的转置乘以该向量的含义是求出向量中各元素的平方和 令导数为0时求出theta最小值为 ...
正规方程的推导过程
qq_39197555的博客
09-15 488
机器学习笔记（4）-------正规方程理解和推导
liuhehe123的博客
08-04 1270
梯度下降算法有助于解决很多线性问题，补过对于一些线性回归问题，正规方程方法有更好的解决办法。 如： 类似于我们以前常用的一元二次函数，对函数求导J'，然后J'=0求出最小点，即可得到最小值。 正规方程是通过求解下面的方程来找出使得代价函数最小的参数的： 关键是利用正规方程解出向量 ： 个人进行了推导。 首先用到了以下公式：                             ...
TDOA最小二乘法推导过程
最新发布
05-02
### TDOA 最小二乘法的推导过程及其数学原理 #### 背景介绍 到达时间差（Time Difference of Arrival, TDOA）是一种广泛应用于定位技术中的方法。其基本思想是通过测量信号到达多个接收器的时间差异来估计目标的位置。为了提高位置估计精度，通常采用最小二乘法对观测数据进行优化处理。 #### 数学模型建立 假设存在 \( N \) 个传感器节点用于检测来自目标发射源的信号，目标的真实位置记为 \( (x_t, y_t) \)，第 \( i \) 和第 \( j \) 个传感器之间的距离可以表示为： \[ d_{ij} = \|s_i - s_j\|_2, \] 其中 \( s_i = (x_i, y_i) \) 表示第 \( i \) 个传感器的位置坐标[^1]。 当接收到同一信号时，两个不同传感器之间记录到的时间差可由下式给出： \[ TDOA_{ij} = t_i - t_j = \frac{\|p - s_i\|}{c} - \frac{\|p - s_j\|}{c}, \] 这里 \( c \) 是信号传播速度，\( p=(x,y) \) 是待求的目标位置向量[^2]。 #### 构建误差函数 实际应用中测得的 TDOA 值可能含有噪声干扰项 \( n_{ij} \): \[ z_{ij} = TDOA_{ij} + n_{ij}. \] 定义残差平方和作为代价函数: \[ J(x, y) = \sum_{(i,j)\in P}\left[z_{ij}-\left(\sqrt{(x-x_i)^2+(y-y_i)^2}-\sqrt{(x-x_j)^2+(y-y_j)^2}\right)/c\right]^2. \] 此即为目标函数形式之一[^3]。 #### 非线性方程组转化为线性化表达 由于原始公式是非线性的，在具体实现过程中往往先做泰勒展开近似简化成局部线性关系后再利用迭代算法逐步逼近真实解。设初始猜测值为 \( (\hat{x}, \hat{y}) \), 则有如下一阶展开式成立： \[ f_k(p+\Delta p)= f_k(p)+ J_f^k(p)*Δp+O(||Δp||²), \] 其中 \( k=1,...m; m=\binom{n}{2};n>=3 \)[^4]. 最终得到增广矩阵并解决相应的正规方程式完成参数更新直至收敛满足设定阈值条件为止。 ```python import numpy as np def compute_Jacobian(sensors_positions, current_estimate): """ 计算雅各比矩阵 """ num_sensors = len(sensors_positions) Jacobian_matrix = [] for idx_pair in combinations(range(num_sensors), r=2): si_x,si_y=sensors_positions[idx_pair[0]] sj_x,sj_y=sensors_positions[idx_pair[1]] diff=np.array([current_estimate])-np.array([[si_x],[sj_x]]) norm_diff_si=np.linalg.norm(diff[:, :, None],axis=-1).squeeze() unit_vec_si=diff/norm_diff_si[...,None] partial_derivative_wrt_x=(-unit_vec_si.T @ [[1],[-1]] ).flatten() / speed_of_light partial_derivative_wrt_y=(-unit_vec_si.T @ [[0],[-1]] ).flatten() / speed_of_light row=[partial_derivative_wrt_x ,partial_derivative_wrt_y ] Jacobian_matrix.append(row) return np.vstack(Jacobian_matrix) def least_square_TDOA(tdoa_measurements, sensors_coordinates, initial_guess): max_iter = 50 tol = 1e-8 pos_estimation = np.copy(initial_guess) prev_cost=None while True: Hessian_approximate =compute_Hessian(pos_estimation,sensors_coordinates ) residuals_vector=get_residual_values(tdoa_measurements,pos_estimation,speed_of_light,sensors_coordinates ) delta_pos=np.linalg.solve(Hessian_approximate,-residuals_vector.reshape(-1)) new_position=pos_estimation+delta_pos[:].reshape((len(delta_pos)//2,2)) cost_value=sum(residuals_vector**2) if abs(cost_value-prev_cost)<tol or count>max_iter : break prev_cost=cost_value pos_estimation=new_position.flatten() return pos_estimation if __name__ == "__main__": # Example usage with dummy data points... pass ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值