机器学习中的线性回归学习笔记

ML:Scikit-Learn 学习笔记(4) --- Linear Regression 线性回归 前语之前写过三篇和Scikit-Learn相关的内容,现在回来填坑了~~ 不过和之前是主要翻译官方文档的工作不同的是,从这次开始,会更加像一个技术手札,而不是翻译了:之前主要说了一个最简单的聚类方式:基于邻居的聚类,对应的,今天就聊一聊最简单的回归:线性回归。Linear Regression首先,我们要做的任务是什么呢?我也是初学者,所以就不正式的直接饮用其文档的内容了: 大致就是如 阅读详情

特点:输出为连续值
模型:
线性回归所采用的模型如下式,

在这里插入图片描述
x1x_1x1​、x2x_2x2​是用来预测的两个特征,即用来预测标签的两个因素,这里只列出了含有两个特征的模型。

损失函数
用来衡量预测值与真实值之间的误差,这里采用的是平方损失
在这里插入图片描述
训练
把数据输入模型进行训练,来找出一组模型参数W、b,使训练样本平均损失最小,即使L(w,b)取得最小值的w和b的值。
为了得出解,可以直接计算得出公式表示的结果,这是解析解,而对于没有解析解的问题,需要通过优化算法有限次迭代模型参数来尽可能降低损失函数的值,这类解叫作数值解(numerical solution)。
常用的优化算法有随机梯度下降算法(SGD),如下式所示,L(w,b)为损失函数,a为学习率,通过不断的迭代使得参数W和b的值优化,而权重的初值采用随机初始化的方式。
在这里插入图片描述
SGD是针对每个样本都做一次优化,还有一种小批量梯度下降法(Mini-batch Gradient Descent,简称MBGD),在每次迭代中,先随机均匀采样⼀个由固定数⽬训练数据样本所组成的小批量(mini-batch),然后求小批量中数据样本的平均损失有关模型参数的梯度,最后⽤此结果与学习率的乘积作为模型参数在本次迭代的减小量。

模型训练完成后,可以进行模型的预测。

在深度学习中,我们可以使⽤神经⽹络图直观地表现模型结构,如下图,神经⽹络图隐去了模型参数权重和偏差。
在这里插入图片描述
图中的输入层的个数为2,输入个数也叫做特征数或特征向量维度,输出层的个数为1,这里直接将神经网络的输出o做为线性回归的输出。不考虑出入层,图中的神经网络的层数为1,所以,线性回归是一个单层的神经网络。同时,由于输出层中的神经元和输入层中的输入完全连接,故称为全连接层(full-connected layer)或稠密层(dense layer)。

ML学习笔记——线性回归 有监督学习分为回归和分类: - 回归:通过数据最终预测出来一个值(例如,去银行贷款,银行根据你的年龄与工资预测出可以给你贷款多少钱) - 分类:通过数据最终预测出来类别(例如,去银行贷款,银行根据你的年龄与工资判断能否给你贷款) 线性回归:找到最合适的一条线(想象一个高维)来最好的拟合数据点。... 阅读详情

相关推荐

【学习笔记】西瓜书机器学习之第三章:一元线性回归公式推导(一)

都在图里了 下章多元线性推导

For-4946的博客 371

机器学习:线性回归,原来是这么回事

本节介绍机器学习中最简单的线性回归模型和逻辑回归模型,注意,线性回归解决的是回归问题,而逻辑回归解决的是分类问题,不要被逻辑回归中的“回归”二字误导~ 线性回归 假设输入x是一个值,则线性回归的任务就是找到参数w和b,使得y^=f(x)=wx+b\hat{y}=f(x)=wx+by^​=f(x)=wx+b 接近真实的标记y。在这种情况下,线性回归模型图像是一条直线。 例如sklearn中的波士顿房价数据集, 租金和房间面积就可以看做线性关系,使用线性回归方法拟合的结果如图所示: 如果x是一个向量,则w.

分享日常的学习,开展的项目,编写的软件,解决的问题等~ 998

Polars简明基础教程一:Polars快速入门

在这个例子中,我们将添加一个列,其中包含每个舱位中乘客的最大年龄。在Python中(而不是特指Polars),当我们将代码包裹在括号中时,我们可以在新行上调用一个新方法——在这种情况下是select。在这里,我们看到一个使用表达式API的简单示例,其中我们在select语句中选择Pclass、Name和Age列(我们将在第3节中深入了解select语句)。表达式是一个函数,它接受一个Series(或DataFrame中的列)作为输入,并返回一个Series(或DataFrame中的列)。

sosogod的博客 3883

机器学习之线性回归

1. w是回归系数,b偏置 假定特征值和目标值满足函数关系(线性模型),最后找到w和b从而满足关系 线性模型:包括线性和非线性两种 只要满足自变量一次或者参数一次都可以是线性模型 2.线性回归的损失和优化原理 为了求出损失函数最小,从而得到线性模型参数,所以优化算法 3.优化算法 3.1)正规方程 3.2)梯度下降 阿尔法是步长,右边的是方向 理解:逐渐迭代到最优解 ...

cccccccaaaaaaaaa的博客 254

LAMMPS实战:如何用ReaxFF力场模拟碳氢化合物热解(附完整脚本)

本文提供了一份使用LAMMPS软件中ReaxFF反应力场模拟碳氢化合物热解过程的完整实战指南。内容涵盖从环境准备、力场参数选择、能量最小化,到升温恒温动力学模拟的完整脚本编写,并介绍了基于轨迹文件的产物分析方法,帮助计算化学与材料科学研究者快速上手这一关键的分子动力学仿真技术。

soda5的博客 1123

【物联网】探索NE555:一款经典的集成电路(超详细)

NE555是一种集成电路,其内部结构包括比较器、RS触发器、电压比较器和输出级三个主要功能模块,外部引脚则提供了与其他电路元件进行连接的接口。NE555的设计目的是为了提供一种简单方便的定时器解决方案,它广泛应用于模拟和数字电路中。NE555作为一款经典的集成电路,具备设计简单、易于使用和稳定可靠的特点,在电子领域发展了广泛的应用。从单稳态模式到多稳态模式,再到振荡器模式,NE555可以满足不同的需求,并且可以与其他电路元件灵活组合,扩展其功能。然而,需要注意的是NE555也有一些限制。

Goforyouqp的博客 6万+

机器学习(一)线性回归

哇!耽搁了两天,今天来把第一篇正儿八经的机器学习的算法博客补上,其实我也是在校学生一枚,看了很多算法和别人的总结,写了很多笔记。所以现在想试着把自己之前整理过的笔记和思考之后的注意点写下来,如果有问题欢迎给我指出来哦~ 1.什么是线性回归   对于所有接触机器学习的小伙伴来说,几乎都被安利过大神吴恩达的机器学习入门视频,而课程讲的第一个机器学习算法就是线性回归。实际上,线性回归属于监

Katrina_ALi的博客 5645

超详细版risc-v五级流水线cpu硬件设计实现解析

深入剖析risc-v五级流水线cpu的硬件架构与设计细节,涵盖指令流程、模块划分与关键时序控制,帮助理解risc-v五级流水线cpu的工作机制与优化策略。

weixin_42437253的博客 1638

《机器学习实战》和Udacity的ML学习笔记之线性回归

《机器学习实战》和 UdacityML学习笔记1.回归模型的选择在线性回归中,可以通过改变特征的数量测试模型的拟合程度。 各种特征数量的模型拟合情况 如图所示,当特征值k等于3的时候,相对更好地拟合了原数据,但又不糊像当K=8时那样夸张。(过度拟合)。其实在绘制误差和特征数量图的时候也可以发现,特征数量从3到8,误差机会没变,就时说引入的额外的特征根本没又起作用。所以可以得出结论,在训练过程中

ml_1019的博客 742

SAP 针对不同行业(制造业、零售业、金融业)推出了专属的云解决方案,以下是各行业的核心方案与特点

SAP推出行业专属云解决方案:制造业(SAP Digital Manufacturing Cloud)提供AI排产与质量预警,降低缺陷率;零售业(S/4HANA Cloud零售版)实现AI预测补货与全渠道库存同步,减少浪费;金融业(Business ByDesign)支持合规自动化与实时风控,降低审计成本。各方案均采用云原生架构,典型案例显示实施效果显著。

金牌架构师 494

【SAP HANA 46】关于HANA CPU高峰到 80-100%

关于HANA CPU高峰到 80-100%

探索 Java 编程的技巧、最佳实践和解决方案。本博客提供针对 Java 开发者的实用指南,涵盖从基础到高级话题,旨在提升编程效率和技能。 432

ANDREW Ng教授的机器学习(Machine Learning)学习笔记(2)-- 线性回归模型(Linear regression model)

ANDREW Ng教授的机器学习(Machine Learning)学习笔记(2)– 线性回归模型(Linear regression model)(一)认识线性回归   机器学习中,监督式学习算法通常分为分类算法和回归算法。分类算法是对离散型分布的预测,较为经典的算法如支持向量机(SVM)、logistic回归等。回归算法适用于连续型分布的预测,对于给定的样本集,用一个函数去拟合使拟合函数与样本

AllenHe1的博客 744

王者荣耀AI绝悟如何选英雄?

王者荣耀AI绝悟如何选英雄? 【抢射手?抢中单位?「绝悟」在打王者荣耀时是如何选英雄的?】 腾讯 AI Lab 开发的 AI 智能体「绝悟」已让王者峡谷不再只是人类召唤师的竞技场,而且这个 AI 战队在上月底进化成了「完全体」。在一局完整的比赛中,英雄选择阶段是至关重要的(比如五射手或五法师阵容会有官方劝退)。 近日,腾讯 AI Lab 和上海交通大学发布的一篇论文介绍了绝悟的英雄选择策略:Ju...

不断学习,不断进步,提高自己 1万+

【学习笔记】机器学习(Machine Learning) | 第二周| 单变量线性回归

​核心概念​​监督学习属性​:通过带标签数据训练模型,预测连续型数值(如房价、温度)。典型应用场景包括半导体工艺参数预测(如芯片尺寸与性能关系)、新能源电池容量估算等工业领域。​数学表示fwbxw⋅xbfwb​xw⋅xb其中:www(权重/斜率):反映特征对预测结果的单位影响强度示例:房价模型中,面积特征w0.8w=0.8w0.8表示每增加1㎡,房价上涨0.8万元bbb(截距项):调整模型在yyy轴的基准位置。

Aming的博客 1054

【自适应调制】自适应调制解调通信链路误码率matlab仿真与分析

BPSK中的B是“Binary”的意思,也就是有两个变化状态,比如说相位上的“+90°(代表1)、-90°(代表0)”,一个状态代表的就是一个比特。QPSK的“Q”是“Quadrature”的意思,有四个变化状态,如相位上的“+45°(代表00)、-45°(代表11)、+135°(代表10)、-135°(代表01)”,那么一个状态就代表两个比特的信息,如图2所示。同理8PSK的一个状态代表三个比特。但是功率资源并不是无限的,基站总的发射功率是一定的,为了充分利用所有的功率,采用的就是AMC技术。

FPGA/MATLAB学习教程/源码/项目合作开发 1835

lwip-2.0.3

lwip是瑞典计算机科学院(SICS)的Adam Dunkels 开发的一个小型开源的TCP/IP协议栈。实现的重点是在保持TCP协议主要功能的基础上减少对RAM 的占用。

机器学习 - 回归 线性回归 Linear Regression(学习笔记)

什么是回归? “回归”一词最早由英国科学家弗朗西斯·高尔顿提出。1875 年,高尔顿利用子代豌豆与父代豌来确定豌豆尺寸的遗传规律。实验的大意是说:非常矮小的的父辈倾向于有偏高的子代,非常高大的的父辈倾向于有偏矮的子代。这表明子代的身高向着父辈身高的平均值回退,后来人们把这种研究方法称为“回归预测”。 线性回归是什么? 线性回归主要用来解决回归问题,也就是预测连续值的问题。利用线性模型来解决“回归问题”,那到底什么是回归问题呢?可以把它理解为“预测”真实值的过程。最简单的线性回归模型是我们所熟知的一次函

m0_65392155的博客 2028

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

Stanford Online Machine Learning 学习笔记1——单变量线性回归

TomMitchell 对机器学习的定义是:Acomputer program is said to learn from experience E, with respect to some taskT,  and some performance measure P, if its performance on T, as measuredby P, improves with experie

Stay hungry, Stay foolish 7833

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

【学习笔记】机器学习(Machine Learning) | 第二章(1) | 单变量线性回归

​核心概念​​监督学习属性​:通过带标签数据训练模型,预测连续型数值(如房价、温度)。典型应用场景包括半导体工艺参数预测(如芯片尺寸与性能关系)、新能源电池容量估算等工业领域。​数学表示fwbxw⋅xbfwb​xw⋅xb其中:www(权重/斜率):反映特征对预测结果的单位影响强度示例:房价模型中,面积特征w0.8w=0.8w0.8表示每增加1㎡,房价上涨0.8万元bbb(截距项):调整模型在yyy轴的基准位置。

Aming的博客 669

机器学习-学习笔记(一)Linear_regression线性回归

目录一、机器学习概念1.作用2.过程3.*方法分类*监督式非监督式4.训练流程插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 一、机器学习概念 你好! 这是你第一次使用 Mark...

weixin_43710676的博客 1155

机器学习之线性回归(Linear regression)学习笔记-Datawhale Task01

Author Bryce230 e-mail 2540892461@qq.com Software win10,Pycharm2019.3.3,Python3.7.7 线性回归笔记-Datawhale Task01线性回归梯度下降特征缩放学习率梯度上升正规方程评估指标代码实现参考资料 线性回归 线性回归分为单变量线性回归和多变量线性回归,一般来说,多变量线性回归在实践中比较...

Bryce230的博客 503

人工智能AI就业班之机器学习线性回归 学习笔记

数据介绍给定的这些特征,是专家们得出的影响房价的结果属性。我们此阶段不需要自己去探究特征是否有用,只需要使用这些特征。到后面量化很多特征需要我们自己去寻找我用夸克网盘分享了「1016-博学谷-2025年人工智能AI就业班GPT大模型-完结」,点击链接即可保存。打开「夸克APP」,无需下载在线播放视频,畅享原画5倍速,支持电视投屏。链接:https://pan.quark.cn/s/2e6556fd74f7提取码:upcy注意:及时转存随时失效。失效+V:x923713获取。资源较大。

牛牛 858

【学习笔记】机器学习(Machine Learning) | 第二章(3) | 单变量线性回归

术语定义训练集 (Training Set)用于模型训练的数据集合,包含输入特征𝑥和目标值𝑦(如波士顿房价数据集含13个特征)特征 (Feature)x′x−μσx′x−μσ),加速梯度下降收敛。

Aming的博客 902

机器学习 Machine Learning中一元线性回归的学习笔记~

1 前言 今天在做 Machine Learning的作业~ 2 一元线性回归 2.1 梯度下降的迭代公式

墨门 195

linearregression_机器学习模型之LinearRegression(Python学习笔记)

学习目标: 1·理解什么是线性回归; 2·使用Python进行的线性回归分析各大城市的降水与气温之间的关系。首先,什么是线性回归?线性是自然界、人类社会中比较普遍的一种关系,比如说房价的预测、金融的预测等等都会运用到线性的知识。但是我们在看待问题的时候一定要注意:相关性不代表因果性!!! 举个例子:有一个管理沙滩旅游的经理,因...

weixin_39522423的博客 202

机器学习——LinearRegression(Python学习笔记)

**机器学习模型--线性回归(学习笔记)** #使用Python进行的线性回归分析各大城市的降水与气温之间的关系。 ##首先,什么是线性回归? 线性是自然界、人类社会中比较普遍的一种关系,比如说房价的预测、金融的预测等等都会运用到线性的知识。但是我们在看待问题的时候一定要注意:相关性不代表因果性!!! 举个例子...

Alphoseven的博客 998

机器学习 线性回归 学习笔记

前面介绍了很多分类算法,分类的目标变量是,回归是对做出预测。(Nominal Data)是统计学和数据分析中的一种数据类型,它用于分类或标记不同的类别或组别,数据点之间并没有数值意义上的距离或顺序。例如,颜色(红、蓝、绿)、性别(男、女)或产品类别(A、B、C)。:标称数据的各个类别之间没有固有的顺序关系。例如,“性别”可以分为“男”和“女”,但“男”和“女”之间不存在大小、高低等顺序关系。:标称数据不能进行数学运算,因为它们没有数值含义。你不能对“颜色”或“品牌”这样的标称数据进行加减乘除。

qq_71751106的博客 977
下一篇: 卷积神经网络(CNN)中有关概念
zhangycode
博客等级 码龄7年 5粉丝 16原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值