机器学习中的线性回归学习笔记

本文深入讲解了线性回归模型的特点及应用,包括模型定义、损失函数的计算与优化,以及模型训练过程。介绍了如何使用随机梯度下降算法(SGD)和小批量梯度下降法(MBGD)来优化模型参数,实现预测效果的最大化。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

特点:输出为连续值
模型:
线性回归所采用的模型如下式,

在这里插入图片描述
x1x_1x1x2x_2x2是用来预测的两个特征,即用来预测标签的两个因素,这里只列出了含有两个特征的模型。

损失函数
用来衡量预测值与真实值之间的误差,这里采用的是平方损失
在这里插入图片描述
训练
把数据输入模型进行训练,来找出一组模型参数W、b,使训练样本平均损失最小,即使L(w,b)取得最小值的w和b的值。
为了得出解,可以直接计算得出公式表示的结果,这是解析解,而对于没有解析解的问题,需要通过优化算法有限次迭代模型参数来尽可能降低损失函数的值,这类解叫作数值解(numerical solution)。
常用的优化算法有随机梯度下降算法(SGD),如下式所示,L(w,b)为损失函数,a为学习率,通过不断的迭代使得参数W和b的值优化,而权重的初值采用随机初始化的方式。
在这里插入图片描述
SGD是针对每个样本都做一次优化,还有一种小批量梯度下降法(Mini-batch Gradient Descent,简称MBGD),在每次迭代中,先随机均匀采样⼀个由固定数⽬训练数据样本所组成的小批量(mini-batch),然后求小批量中数据样本的平均损失有关模型参数的梯度,最后⽤此结果与学习率的乘积作为模型参数在本次迭代的减小量。

模型训练完成后,可以进行模型的预测。

在深度学习中,我们可以使⽤神经⽹络图直观地表现模型结构,如下图,神经⽹络图隐去了模型参数权重和偏差。
在这里插入图片描述
图中的输入层的个数为2,输入个数也叫做特征数或特征向量维度,输出层的个数为1,这里直接将神经网络的输出o做为线性回归的输出。不考虑出入层,图中的神经网络的层数为1,所以,线性回归是一个单层的神经网络。同时,由于输出层中的神经元和输入层中的输入完全连接,故称为全连接层(full-connected layer)或稠密层(dense layer)。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值