机器学习—————线性回归、损失函数

最新推荐文章于 2025-05-29 20:08:22 发布
原创 最新推荐文章于 2025-05-29 20:08:22 发布 · 1.8k 阅读 · 7 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文深入探讨了线性回归，包括一元和多变量线性回归，重点介绍了梯度下降法及其优化策略，如学习率的选择。同时，文章详细阐述了损失函数在模型训练过程中的作用，并讨论了随机梯度下降和'Mini-batch'梯度下降的适用场景。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录

线性回归

一元线性回归

一元线性回归是分析只有一个自变量（自变量x和因变量y）线性相关关系的方法。

对于一元线性回归(单变量线性回归)来说，学习算法为 y = ax + b
我们换一种写法： hθ(x) = θ0 + θ1x1

线性回归实际上要做的事情就是： 选择合适的参数（θ0, θ1），使得hθ(x)方程，很好的拟合训练集在这里插入图片描述
模型
hθ(x) = θ0 + θ1x1
参数
θ0, θ1
损失函数
在这里插入图片描述
目标
在这里插入图片描述
在这里插入图片描述

梯度下降

在这里插入图片描述

最低0.47元/天 解锁文章

200万优质内容无限畅学
每天五分钟机器学习：线性回归算法的损失函数是什么？
huanfeng_AI的博客
05-16 1274
本文重点 在上一节课程中讲解了线性回归中的假设函数，本节课程将学习一下损失函数，损失函数的意义是帮助我们把最好的直线模型与我们的数据相拟合。 房价预测的例子 假设函数是这样的线性函数形式： ℎθ(x) =θ0 + θ1x。其中θ0 和 θ1，便是直线在轴上的截距和斜率。 其中θi我们称为模型参数，现在θ0和θ1是未知的，如果我们求出θ0和θ1，那么就求出这个假设函数hθ(x)了。 那么θ0和θ1选择的标准是什么呢？ 这个θ0和θ1的选择的标准是：输入x值，y的值最接近该样本对应的y值，按照这个标准选出来的
线性回归的损失函数与逻辑回归的损失函数
热门推荐
wjlucc的专栏
05-02 2万+
一、线性回归损失函数的两种解释线性回归的损失函数是平方损失函数，为什么使用平方的形式，参考：线性回归损失函数为什么要用平方形式，讲得很清楚。 在线性回归中，对于训练数据样本(xi,yi)(x_i,y_i)，我们有如下的拟合直线： yiˆ=θ⋅xi\widehat{y_i}=\theta\cdot x_i 构建的损失函数是： C=∑i=1n(yi−yiˆ)2C=\sum\limits_{i=1
机器学习5-线性回归之损失函数
dracularking的竹林小屋
02-03 1395
这个过程是通过迭代优化算法来找到最优参数，使得模型的预测值与实际值之间的均方误差最小。我们通过最小化损失函数来找到最优的参数。这就是对于线性回归的均方误差损失函数的偏导数计算过程。线性回归的目标是找到一条直线，使得预测值与实际值的平方差最小化。会根据这些偏导数的信息，迭代更新参数，直至损失函数收敛到最小值。求解损失函数的过程就是找到能够使损失函数最小化的模型参数。3. 更新参数：使用梯度信息来更新参数，减小损失函数值。2. 计算梯度：计算损失函数对每个参数的偏导数。是学习率，控制每次参数更新的步长。
机器学习：线性回归之损失函数、正规方程、梯度下降、过拟合和欠拟合、正则化
m0_58475958的博客
07-16 6458
1.线性回归 1.1 定义与公式 线性回归(Linear regression)是利用回归方程(函数)对一个或多个自变量(特征值)和因变量(目标值)之间关系进行建模的一种分析方式。 特点：只有一个自变量的情况称为单变量回归，多于一个自变量情况的叫做多元回归 通用公式： h(w)=w1x1+w2x2+⋯+wnxn+b=WTX+bh(w)=w_1x_1+w_2x_2+\cdots+w_nx_n+b=W^TX+b h(w)=w1​x1​+w2​x2​+⋯+wn​xn​+b=WTX+b 其中W、X可以理解为矩阵
机器学习——线性回归
最新发布
WL6631的博客
05-29 338
线程回归的概述及回归模型评估方法
【机器学习】线性回归的损失和优化
风口IT猪的成长录
07-13 1270
线性回归的损失和优化线性回归的损失和优化1. 损失函数2. 优化算法2.1 正规方程2.1.1 什么是正规方程2.1.2 正规方程求解举例2.1.3 正规方程的推导推导方式一推导方式二2.2 梯度下降(Gradient Descent)2.2.1 什么是梯度下降2.2.2 梯度的概念2.2.3 梯度下降举例2.2.4 梯度下降（Gradient Descent）公式3. 梯度下降和正规方程的对比3.1 算法选择依据4. 小结 线性回归的损失和优化 学习目标 知道线性回归中损失函数 知道使用正规方程对损失函
线性回归：损失函数
Wei_sx的博客
12-19 834
损失函数在线性回归中的重要性不言而喻。它不仅是评估模型预测能力的工具，还在优化过程中指导参数更新的方向和幅度。均方误差是最常用的损失函数，但在一些特定场景下，其他损失函数（如 MAE 或 Huber 损失）也可能更适合。因此，选择合适的损失函数对于成功应用线性回归至关重要。ny_i。
机器学习线性回归（四）：线性回归的损失函数
汪雯琦的博客
02-24 6109
线性回归的损失函数 假设以波士顿房价为例子，真实的数据之间存在这样的关系 真实关系：真实房子价格 = 0.02×中心区域的距离 + 0.04×城市一氧化氮浓度 + (-0.12×自住房平均房价) + 0.254×城镇犯罪率 那么现在呢，我们随意指定一个关系（猜测） 随机指定关系：预测房子价格 = 0.25×中心区域的距离 + 0.14×城市一氧化氮浓度 + 0.42×自住房平均房价 + 0.34...
机器学习——单变量线性回归详解
12-22
单变量线性回归是机器学习领域中最基础的预测模型之一，它用于建立因变量（目标变量）与一个自变量（特征变量）之间的线性关系。本文将深入探讨单变量线性回归的实现过程，包括数据预处理、模型构建、参数优化以及...
机器学习——单变量线性回归.pdf
03-27
本篇文档是根据吴恩达在机器学习课程中讲解的内容所作的笔记，涵盖了单变量线性回归的核心概念和算法流程，包括假设函数、代价函数、梯度下降法、学习率的选择以及线性回归的梯度下降。 首先，假设函数（Hypothesis...
头歌机器学习——线性回归
weixin_74479558的博客
01-20 754
实现线性回归算法与MSE损失函数计算方法，并利用房价数据对模型进行训练，然后对未知的房价数据进行预测。
损失函数的线性回归
01-10
采用各种损失函数的SVM分类器，可实现对多特征值得分类
线性回归：损失函数和假设函数
ccc369639963的博客
03-07 2274
线性回归：损失函数和假设函数 通过前面内容的介绍，我相信你对线性回归算法已经有了初步的认识。那我们应该如何在一大堆数据中求解出“线性方程呢”比如前面提及的房价预测问题？这种问题才是符合实际应用的。数据样本会散落在“线性方程”的周围（下图 2 所示）， 而我们要做就是让线性方程的“直线”尽可能“拟合”周围的数据点。本节我们将从数学角度解析线性回归模型。 假设函数 通过前面知识的学习，我们知道假设函数是用来预测结果的。前面讲述时为了让大家更容易理解“线性回归”，我们以“直线方程”进行了类比讲解，然而线性方程并不
机器学习（11）线性回归（1）理论：损失函数(含最小二乘法)、正规方程、梯度下降、回归性能评估（均方差）
great_yzl的博客
09-11 1万+
目录 一、线性回归基础理论 定义： 线性关系公式： 单特征线性关系： 双特征平面关系： 其他线性模型： 二、线性回归的损失和优化原理 1、损失函数/最小二乘法 2、优化方法： 2-1、正规方程 1、公式 2、原理 2-2、梯度下降 1、单特征 2、双特征 3、梯度下降过程（单特征） 4、梯度下降过程（双特征） 三、正规方程优化（波士顿房价预测） API 1、获取数据集 2、划分数据集 3、标准化 4、 创建预估器，得到模型 代码 四、梯度下降优...
【机器学习】线性回归 线性回归模型的损失函数 MSE RMSE MAE R方
YoseZang的博客
02-13 1260
线性回归模型的单一特征向量的损失为y_real-y_predict，即特征标签真实值减去特征的预测值。总体损失为单一特征向量的损失进行投票的结果，根据投票方式的不同，得到不同的损失函数。
线性回归的损失函数和优化方法
互联网知识分享
12-03 697
在这个公式中，( y ) 是输出变量，( x_1, x_2, ..., x_n ) 是输入变量，( \beta_0, \beta_1, \beta_2, ..., \beta_n ) 是模型参数，( \epsilon ) 是误差。线性回归的损失函数是最小二乘法损失函数，优化方法包括梯度下降法和最小二乘法。其中，( y_i ) 是实际观测值，( \hat{y}_i ) 是模型预测值，( \beta ) 是模型参数。在线性回归中，常用的损失函数是最小二乘法（Least Squares）损失函数。
线性回归算法中损失函数（误差函数/目标函数）的来历及推导
weixin_71894495的博客
07-23 1090
本文以线形回归为例，利用高斯分布概率密度函数和极大似然估计公式推导出线性回归损失函数通用表达式。
线性回归中的损失函数的数值表达式及向量表达式推导详解
weixin_71894495的博客
07-23 1843
本文通过一元线性回归为例推导出损失函数，并扩展成通用的多元线性回归方程的损失函数，以实际数据为例，转换为向量的表达形式
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值