机器学习基础——线性回归公式推导(附完整代码)

线性回归模型公式推导 线性回归公式推导线性模型线性回归一元线性回归公式推导多元线性回归公式推导对数几率回归介绍对数几率回归公式推导 线性模型 线性回归 一元线性回归公式推导 多元线性回归公式推导 对数几率回归 介绍 对数几率回归公式推导 一元线性回归公式推导 由最小二乘法导出损失函数E(w,b) ——证明损失函数E(w,b)是关于w和b的凸函数 ——对损失函数求关于b和w的一阶偏导数 ——令一阶偏导数等于0解出w和b 多元线性回归公式推导 步骤与一元线性回归相似 ... 阅读详情

在之前的文章当中,我们介绍过了简单的朴素贝叶斯分类模型,介绍过最小二乘法,所以这期文章我们顺水推舟,来讲讲线性回归模型。


线性回归的本质其实是一种统计学当中的回归分析方法,考察的是自变量和因变量之间的线性关联。后来也许是建模的过程和模型训练的方式和机器学习的理念比较接近,所以近年来,这个模型被归入到了机器学习的领域当中。然而,不管它属于哪个领域,整个模型的思想并没有发生变化。我们只要有所了解即可。


模型概念


线性回归的定义非常简单,它最简单的形式其实就是一元一次方程组。比如,我们有如下式子:

y = w x + b y=wx+b y=wx+b

我们知道若干的x和y,要求w和b。解的方法很简单,我们通过消元法,就可以很容易求出来w和b。


我们针对以上的式子做两个变形,第一个变形是我们的自变量x不再是一个单值,而是一个m * n的矩阵。m表示样本数,n表示特征数,我们写成X。X矩阵的每一行是一个n维的行向量,它代表一个样本。它的系数W也不再是一个值,而是一个n * 1的列向量,它的每一维代表一个样本当中这一维的权重。我们把上面的公式写成矩阵相乘的形式:

Y = X W + b Y=XW+b Y=XW+b

式子里的Y、X和W分别是m * 1, m * n和n * 1的矩阵。


这里有两点要注意,第一点是这里的b我们可以当做是一个浮点数的参数,但是实际上它也是一个m * 1的矩阵(列向量)。但即使我们用的是浮点数也没关系,因为在我们实现模型的时候,numpy或者TensorFlow或者是其他的框架会自动地使用广播将它转化成向量来做加法。


第二点是这里的X写在了W的前面,这也是为了矩阵乘法计算方便。当然我们也可以将X和W都转置,写成WX,但这样得到的结果是一个1 * m的行向量,如果要和Y进行比较,那么还需要再进行一次转置。所以为了简便,我们对调了X和W的顺序。所以大家不要觉得疑惑,明明是WX+b怎么写出来就成了XW+b了。


我们把式子列出来之后,目标就很明确了,就是要通过计算求到一个W和b使得式子成立。但是在此之前,我们需要先明确一点:在实际的工程应用场景当中,是不可能找到W和b使得XW+b恰好和Y完全相等的。因为真实的场景当中数据都存在误差,所以精确的解是不存在的,我们只能退而求其次,追求尽可能精确的解。


最小二乘法与均方差


在之前的文章当中我们介绍过最小二乘法,遗忘的同学可以点击下方链接回顾一下。


概率统计——期望、方差与最小二乘法


在机器学习的过程当中,模型不是直接达到最佳的,而是通过一步一步的迭代,效果逐渐提高,最终收敛不再剧烈变化。我们明白了这个过程,就能理解,在学习的过程当中,我们需要一个量化的指标来衡量模型当前学习到的能力。就好像学生在上学的时候需要考试来测试学生的能力一样,我们也需要一个指标来测试模型的能力。


对于回归模型而言,预测的目标是一个具体的值。显然这个预测值和真实值越接近越好。我们假设预测值是 y ^ \hat{y} y^​,真实值是y,显然应该是 ∣ y − y ^ ∣ |y-\hat{y}| ∣y−y^​∣越小越好。


但是绝对值的计算非常麻烦,也不方便求导,所以我们通常会将它平方,即: ( y − y ^ ) 2 (y-\hat{y})^2 (y−y^​)2最小。对于m个样本而言,我们希望它们的平方和尽量小: ∑ i = 1 m ( y i − y i ^ ) 2 \sum_{i=1}^m(y_i - \hat{y_i})^2 ∑i=1m​(yi​−yi​^​)2。


这个式子和我们之前介绍的方差非常相似,只不过在方差当中减的是期望值,而在这里我们减的是真实值。所以这个平方差也有一个类似的名称,叫做均方差。


方差反应的是变量在期望值附近的震荡程度,同样的,均方差反应的是模型预测值距离真实值的震荡程度。


寻找最佳的参数来使得均方差尽量小,就是最小二乘法。


推导过程


到这里,我们已经搞清楚了模型的公式,也写出了优化的目标,已经非常接近了,只剩下最后一步,就是优化这个目标的方法。


如果我们观察一下均方差,我们把它写全: ( Y − ( X W + b ) ) 2 (Y-(XW+b))^2 (Y−(XW+b))<

线性回归 正规方程详细推导过程 最近在学习吴恩达的机器学习,讲到里面了比较简单的求出的方法:正规方程。 视频里只告诉我们这个公式,但是没有具体告诉我们推到过程,对于我这种数学学渣来说实在一眼看不出来是什么意思,查了很久才稍微懂了点点,所以在此记录一下推导过程,也希望能帮助到和我一样的数学学渣。     首先列出代价函数,其中X,Y,是向量或者矩阵。 接下来我们要对代价函数Ĵ中预测值与真实值的差的平方的累加进行求导。 ... 阅读详情

相关推荐

回归问题经典算法 | 线性回归 :解析解法(公式推导)

线性回归公式推导 | 解析解法求解参数 | 一篇文章读懂线性回归底层数学思想 | 代码实现

ToBeCeratinToBeTall的博客 5000

python机器学习-线性回归(LinearRegression)算法

用python进行线性回归分析非常方便,如果看代码长度你会发现真的太简单。但是要灵活运用就需要很清楚的知道线性回归原理及应用场景。现在我来总结一下用python来做线性回归的思路及原理。 线性回归应用场景 线性回归介绍 机器学习中的线性回归 简单的线性回顾实例 线性回归应用场景 线性回归介绍 ——线性回归是利用数理统计中回归分析,来确定两种或两种以上变量间相互依赖的定量关系...

黄俊文的博客 4万+

一元线性回归的公式推导

此乃开博首篇,先用简单的问题来当做开胃菜! 本篇一元回归主要参考周志华老师《机器学习》,主要工作是把周老师在书中省略的公式推导过程详细叙述清楚。 对于样本集 DDD = { (x1x1x_1,y1y1y_1), (x2x2x_2,y2y2y_2), …, (xmxmx_m,ymymy_m) } 线性回归模型就是要找到一个模型f(x)=wx+bf(x)=wx+bf(x)=wx+b 使得 ∀i∈[...

wx_blue_pig的博客 1万+

机器学习(1)------ 线性回归、加权线性回归及岭回归的原理和公式推导

线性回归、加权线性回归及岭回归的原理和公式推导 目录: - 前言 - 线性回归 - 加权线性回归 - 岭回归 - 总结 前言 机器学习相关的博文相信已经很多了,作为机器学习的一枚菜鸟,写这篇博文不在于标新立异,而在于分享学习,同时也是对自己研究生生涯的总结和归纳,好好地把研究生的尾巴收好。想着比起出去毕业旅行,在实验室总结一下自己的所学,所想,所感应该更有意义吧。(其实也想...

stu_csdn的博客 3721

线性回归与岭回归参数向量公式推导

线性回归是一种常用的机器学习回归算法,其原理是通过输入和输出学习回归函数,确定回归参数向量w\mathbf{w}w和截距bbb。对于新的样本x\mathbf{x}x,其预测值为y^=xw+b\hat{y}=\mathbf{x}\mathbf{w}+by^​=xw+b。式中,x\mathbf{x}x是n−1n-1n−1维横向量,x=(x1,x2,...,xn−1)\mathbf{x}=(x_1,x_...

qq_38032064的博客 1947

机器学习——从线性回归到逻辑回归【附详细推导和代码】

本文始发于个人公众号:TechFlow,原创不易,求个关注 在之前的文章当中,我们推导了线性回归的公式,线性回归本质是线性函数,模型的原理不难,核心是求解模型参数的过程。通过对线性回归的推导和学习,我们基本上了解了机器学习模型学习的过程,这是机器学习的精髓,要比单个模型的原理重要得多。 新关注和有所遗忘的同学可以点击下方的链接回顾一下之前的线性回归和梯度下降的内容。 一文讲透梯度下降法 详细推导...

TechFlow的博客 1407

Lattice FPGA 开发工具Diamond使用流程总结——工具使用

本文介绍了一般的Diamond开发流程,包括工程创建、文件输入、IP使用、约束、管脚分配、和布线布局等流程

weixin_41895751的博客 2万+

别再硬编码了!WinCC子画面动态加载的5种C脚本写法对比

本文深入解析WinCC子画面动态加载的5种C脚本实现方案,包括基础加载、路径动态解析、多语言切换、窗口自适应布局和混合架构交互。通过代码示例和场景分析,帮助开发者避免硬编码问题,提升工业自动化系统的交互效率和可维护性。特别推荐路径动态解析方案,有效解决项目路径管理的痛点。

weixin_29008691的博客 479

WhatsApp网页版扫码分析

扫码登录本质上是WhatsApp的多设备登录,设备之间可以独立运行,那么当我们首次通过WhatsApp扫码登录二维码时,到底发生了那些事情?交换了那些数据?

SocialMarketing的博客 5231

STM32H743 ADC校准失败排查:HAL_ADCEx_Calibration_Start()的正确调用时机

本文深入剖析了STM32H743 ADC校准失败的核心原因,即错误地在ADC使能状态下调用HAL_ADCEx_Calibration_Start()函数,导致读数漂移。文章详细解释了校准必须在ADC禁用状态下进行的硬件原理,列举了典型错误场景,并提供了上电初始化与周期性重校准的正确代码实践,帮助开发者彻底解决ADC精度问题。

ik678901的博客 1178

电磁场仿真软件:Sonnet_(3).Sonnet用户界面与操作

Sonnet支持用户通过二次开发自定义工具,例如:编写Python脚本,实现自定义功能。将脚本保存为工具插件。在Sonnet中加载并使用自定义工具。# 示例:自定义工具 import sonnet def custom_tool(design , object , parameter , value) : """自定义工具示例,设置对象的指定参数。

kkchenjj的博客 1529

手把手教你RK3588 NPU驱动与RKNN Toolkit,AI开发不迷路!

本文详细介绍了RK3588 NPU驱动安装与RKNNToolkit使用方法。首先阐述了RK3588芯片在嵌入式AI领域的优势,包括6TOPS算力和混合量化支持。随后分步骤讲解了NPU驱动安装流程,包括准备工作、编译安装、验证调试及常见问题解决。接着全面介绍了RKNNToolkit的环境搭建、基本使用流程和图像分类实战案例,涵盖模型转换、推理优化等关键环节。最后展望了RK3588在智能安防、工业自动化等领域的应用前景,为开发者提供了完整的嵌入式AI开发指南。

远程部署调试 运行安装 项目调试 二次开发 项目技术新 持续迭代 部分源码免费分享 435

2025华为od机试真题B卷【版本管理】JavaScript实现

在 软件版本管理中,版本号由点分割的数字组成,例如 1.2.3 和 2.8。现在,你需要编写一个函数,计算两个版本号之间的可用版本号个数。这里的可用版本号指的是所有满足 version1<x<version2的版本号x的个数。若 version1 >=version2 返回0.,

MISAYAONE的博客 255

【教程4>第6章>第26节】基于FPGA的MMSE信道估计与均衡系统实现与整体测试,并对比LS信道估计

通过前面几个章节的学习,我们完成了MMSE信道估计和均衡系统。为了进一步验证MMSE信道估计的性能,我们在系统的最后,增加一个信道估计误差计算程序。由于MMSE信道估计,其主要优势在SNR较小时提现,因此测试对比时,我们在testbench中,将SNR设置为2db。然后m值,我们不考虑一个固定值,而是一直累加,直到所设置的仿真时间结束。通过对比可以看到,MMSE信道估计性能优于LS信道估计。这样方便FPGA中的误差计算。

FPGA/MATLAB学习教程/源码/项目合作开发 1600

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

上一篇: 线性代数精华——矩阵的特征值与特征向量
下一篇: 算法浅谈——分治算法与归并、快速排序(附代码和动图演示)
TechFlow
博客等级 码龄7年 347粉丝 276原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值