本文详细介绍了线性回归的定义符号、假设函数、目标函数及其选择原因，并探讨了批梯度下降、随机梯度下降和正规方程法三种优化目标函数的方法。通过实例解析了目标函数的最小化过程，提供了深入理解线性回归模型的途径。
文章目录
一、定义符号
假设数据集为 { ( x ( 1 ) , y ( 1 ) ) , ( x ( 2 ) , y ( 2 ) ) , … , ( x ( m ) , y ( m ) ) } \{(x^{(1)}, y^{(1)}),(x^{(2)}, y^{(2)}),\dots,(x^{(m)}, y^{(m)})\} {(x(1),y(1)),(x(2),y(2)),…,(x(m),y(m))}，参数为 θ \theta θ，其中：
- 训练样本数目为 m
- 第 i 个样本为 ( x ( i ) , y ( i ) ) (x^{(i)}, y^{(i)}) (x(i),y(i))
- x ( i ) = [ x 1 ( i ) , x 2 ( i ) , … , x n ( i ) ] T , x ( i ) ∈ R n x^{(i)} = [x_1^{(i)},x_2^{(i)},\dots,x_n^{(i)}] ^ T,\;\; x^{(i)} \in \mathbb{R}^n x(i)=[x1(i),x2(i),…,xn(i)]T,x(i)∈Rn
- y ( i ) ∈ R y^{(i)} \in \mathbb{R} y(i)∈R
- θ = [ θ 1 , θ 2 , … , θ n ] T , θ ∈ R n \theta = [\theta_1,\theta_2,\dots,\theta_n] ^ T,\;\; \theta \in \mathbb{R}^n θ=[θ1,θ2,…,θn]T,θ∈Rn
二、假设函数
h ( x ) = ∑ i = 1 n θ i x i = θ T x h(x) = \sum_{i=1}^n \theta _i x_i = \theta^T x h(x)=i=1∑nθixi=θTx
三、目标函数
1. 目标函数的形式
J ( θ ) = 1 2 m ∑ i = 1 m ( h θ ( x ( i ) ) − y ( i ) ) 2 J(\theta) = \frac{1}{2m} \sum_{i=1}^{m} (h_{\theta}(x^{(i)})-y^{(i)}) ^ 2 J(θ)=2m1i=1∑m(hθ(x(i))−y(i))2
2. 为什么要选择这样的目标函数？
(1) 对于每一个样例 ( x ( i ) , y ( i ) ) (x^{(i)}, y^{(i)}) (x(i),y(i))，假设预测值和真实值存在以下关系：
y ( i ) = θ T x ( i ) + ϵ ( i ) y^{(i)} = \theta^T x^{(i)} + \epsilon^{(i)} y(i)=θTx(i)+ϵ(i)
其中 ϵ ( i ) \epsilon^{(i)} ϵ(i)表示预测值和真实值之间的差值。
(2) 影响误差的因素有很多，这些因素又都是随机分布的。根据中心极限定理，许多独立随机变量的和趋于正态分布。所以进一步假设：
ϵ ∼ N ( 0 , σ 2 ) P ( ϵ ( i ) ) = 1 2 π σ e x p ( − ( ϵ ( i ) ) 2 2 σ 2 ) \epsilon \sim N(0, \sigma^2) \\ P(\epsilon^{(i)}) = \frac{1}{\sqrt{2 \pi} \sigma }exp \Big(- \frac {(\epsilon^{(i)})^2}{2 \sigma ^ 2} \Big) ϵ∼N(0,σ2)P(ϵ(i)
最低0.47元/天 解锁文章
扫一扫
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
