线性回归笔记

本文介绍了线性回归的基本概念,包括模型公式、优化策略如最小二乘法和梯度下降,并探讨了正则化在防止过拟合中的作用,涉及L1、L2和Elastic正则化。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

介绍

线性回归的假设是在输入X1,…,Xp与回归方程E(Y|X)的关系是线性的。

对于输入向量 X T = ( X 1 , X 2 , . . . , X p ) X^T =(X_1, X_2,..., X_p) XT=(X1,X2,...,Xp), 线性回归模型公式为:

f ( X ) = β 0 + ∑ j = 1 p ( X j β j ) . f(X) = β_0 + \sum_{j=1}^p(X_jβ_j). f(X)=β0+j=1p(Xjβj).

其中参数β是需要训练集数据 ( x 1 , y 1 ) , … ( x N , y N ) (x_1, y_1), …(x_N, y_N) (x1,y1),(xN,yN)进行估计(estimate)的参数, β = ( β 0 , β 1 , … , β p ) T β = (β_0, β_1, …, β_p)^T β=(β0,β1,,βp)T

优化策略

优化策略指的是按照什么样的准则学习或选择最优模型,所以在优化之前需引入一个函数在评判模型的拟合或预测的程度,即损失函数,记为L(β)。
通常线性回归采用最小二乘法来优化模型,即:
L ( β ) = 1 2 ∑ i = 1 N ( y i − f ( x i ; β ) ) 2 = 1 2 ∑ i = 1 N ( y i − β 0 − ∑ j = 1 N x i j β j ) 2 L(β) =\frac{1}{2} \sum_{i=1}^N(y_i - f(x_i;β))^2 = \frac{1}{2}\sum_{i=1}^N(y_i - β_0 - \sum_{j=1}^Nx_{ij} β_j)^2 L(β)=2

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值