本文介绍了线性回归模型的参数求解方法，包括正规方程法和梯度下降法。正规方程通过求解矩阵（XTX）的逆来获取参数，适用于特征数量较少的情况。梯度下降法是一种通用的优化方法，适用于各种模型，通过迭代更新参数以最小化目标函数。文章还讨论了特征缩放、学习率选择以及梯度下降的变体，如批量、随机和小批量梯度下降。
简述一下线性回归流程：首先可以进行数据的预处理，包括但不限于：缺失值处理、线性相关的特征值处理、误差较大的脏数据处理。然后搭建一个线性回归模型，运用梯度下降或者正规方程法可以求出参数，这样模型就确定了。之后再用一些检测方法，评估模型是否合理并进行针对性的优化。
文中 y ^ \hat{y} y^为预测值， y ( i ) y^{(i)} y(i)为实际值， x i x_{i} xi表示第 i i i个变量（特征）， x ( i ) x^{(i)} x(i)表示第 i i i组数据（样本），同理 x n ( m ) x_{n}^{(m)} xn(m)表示第m个样本的第n个特征
第1.2章：线性回归参数的求解
来源
本章视频
06_线性回归算法原理推导、07_线性回归参数的求解
一、线性回归算法原理推导
二、线性回归参数的求解（求函数最小值）
1.正规方程法
-
将目标函数（04）转化为矩阵形式可以简化推导过程，有利于代码实现： J ( θ ) = 1 2 ∑ i = 1 m ( h θ ( x ( i ) ) − y ( i ) ) 2 = 1 2 ( X θ − Y ) T ( X θ − Y ) （ 06 ） J(\theta)=\frac{1}{2} \sum_{i=1}^{m}\left(h_{\theta}\left(x^{(i)}\right)-y^{(i)}\right)^{2}=\frac{1}{2}(X \theta-Y)^{T}(X \theta-Y) （06） J(θ)=21i=1∑m(hθ(x(i))−y(i))2=21(Xθ−Y)T(Xθ−Y) （06） 其中 X = [ x 0 ( 1 ) x 1 ( 1 ) ⋯ x n ( 1 ) x 0 ( 2 ) x 1 ( 2 ) ⋯ x n ( 2 ) ⋯ ⋯ ⋯ ⋯ x 0 ( m ) x 1 ( m ) ⋯ x n ( m ) ] = [ 1 x 1 ( 1 ) ⋯ x n ( 1 ) 1 x 1 ( 2 ) ⋯ x n ( 2 ) ⋯ ⋯ ⋯ ⋯ 1 x 1 ( m ) ⋯ x n ( m ) ] \mathbf{X} = \left[\begin{array}{cccc}{x_{0}^{(1)}} & {x_{1}^{(1)}} & {\cdots} & {x_{n}^{(1)}} \\ {x_{0}^{(2)}} & {x_{1}^{(2)}} & {\cdots} & {x_{n}^{(2)}} \\ {\cdots} & {\cdots} & {\cdots} & {\cdots} \\ {x_{0}^{(m)}} & {x_{1}^{(m)}} & {\cdots} & {x_{n}^{(m)}}\end{array}\right] = \left[\begin{array}{cccc}{1} & {x_{1}^{(1)}} & {\cdots} & {x_{n}^{(1)}} \\ {1} & {x_{1}^{(2)}} & {\cdots} & {x_{n}^{(2)}} \\ {\cdots} & {\cdots} & {\cdots} & {\cdots} \\ {1} & {x_{1}^{(m)}} & {\cdots} & {x_{n}^{(m)}}\end{array}\right] X=⎣⎢⎢⎢⎡x0(1)x0(2)⋯x0(m)x1(1)x1(2)⋯x1(m)⋯⋯⋯⋯xn(1)xn(2)⋯xn(m)⎦⎥⎥⎥⎤=⎣⎢⎢⎢⎡11⋯1x1(1)x1(2)⋯x1(m)⋯⋯⋯⋯xn(1)xn(2)⋯xn(m)⎦⎥⎥⎥⎤ ， θ = [ θ 0 θ 1 ⋯ θ n ] \theta=\left[\begin{array}{l}{\theta_{0}} \\ {\theta_{1}} \\ {\cdots} \\ {\theta_{n}}\end{array}\right] θ=⎣⎢⎢⎡θ0θ1⋯θn⎦⎥
最低0.47元/天 解锁文章
扫一扫
8605
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
