多元线性回归学习疑点记录

最新推荐文章于 2025-05-26 10:08:58 发布
最新推荐文章于 2025-05-26 10:08:58 发布
阅读量409 收藏
点赞数 1
分类专栏： master machine learning with s
本文深入探讨了多元线性回归的求解方法，详细讲解了如何利用最小二乘法求解β参数，以及如何使用numpy库进行矩阵运算，包括矩阵求逆和求行列式。此外，还介绍了sklearn库中fit_transform方法的正确使用方式。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

方程：Y=Xβ 

求解多元线性回归问题就是求解β：

因为X不一定是方阵，所以不能直接β=X-1Y

两边同时乘以Xt，得到XtY=XtXβ

因为XtX是方阵，它的逆是(XtX)-1，所以两边同时乘(XtX)-1得到

(XtX)-1XtY=β

 

  • （1）np.linalg.inv()：矩阵求逆
  • （2）np.linalg.det()：矩阵求行列式（标量）

 

最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配 

 

fit_transform

sklearn里的封装好的各种算法都要fit、然后调用各种API方法，transform只是其中一个API方法，所以当你调用除transform之外的方法，必须要先fit，为了通用的写代码，还是分开写比较好 

 

numpy--函数 shape用法 

shape函数是numpy.core.fromnumeric中的函数，它的功能是查看矩阵或者数组的维数。

建立一个4×2的矩阵c, c.shape[1] 为第一维的长度，c.shape[0] 为第二维的长度。

  • >>> c = array([[1,1],[1,2],[1,3],[1,4]])  
  • >>> c.shape  
  • (4, 2)  
  • >>> c.shape[0]  
  • 4  
  • >>> c.shape[1]  
  • 2 

 

numpy.reshape（重塑）

给数组一个新的形状而不改变其数据

创建一个数组a，可以看到这是一个一维的数组
这里写图片描述

使用reshape()方法来更改数组的形状，可以看到看数组d成为了一个二维数组
这里写图片描述

从 ".data" 到 ".csv"

https://blog.youkuaiyun.com/A_D_E/article/details/79467091

民航客运量变化趋势的多元线性回归模型--基于R（附R程序及讲解）
weixin_44734502的博客
03-03 2455
民航客运量变化趋势的多元线性回归模型--基于R（附R程序及讲解）
多元线性模型
m0_57883712的博客
04-29 1645
多元回归模型通常用来研究一个因变量依赖多个自变量的变化关系，如果二者的依赖关系可以用线性形式来刻画，则可以建立多元线性模型来进行分析.本章介绍多元线性模型的定义、参数估计与检验、变量选择、回归诊断和回归预测.多元线性模型通常用来描述变量y与x之间的随机线性关系，即 (2.1) 式中，是非随机的自变量；y是随机
学习疑点
IT界の小丑的专栏
07-12 741
学习asp.net已经有一年多了，正式做项目也快有半年了，发现了几个没搞明白的地方。一，DropDownList绑定的问题。在使用asp.net 2.0自带的数据源绑定时，第一个值总是被默认的。可是当要选择第一个时就问题就出现了 。DropDownList的SelectIndexChanging事件不好用。以为它默认的和你选择的是同一个值，所以想给DropDownList加另外的值，在page
Go语音自身学习的几个疑点
niki_yang
03-23 271
java转go的多少踩了坑，刚开始代码都是一堆java的思想来学习go，这个似乎是不对的，虽说语言都互有通性，但是无论是之前是学啥语言的然后来接触go的，我想刚开始都会踩到一些坑的，当然这多数是个人的看法，也许是自身的无知，毕竟隔几个月再去看以前的代码也是一脸懵逼得。以下还是来看看我踩到的坑吧。 1. 理解指针 不说概念上例子： *int 是int的指针类型； **int是int指针的指针...
决策树学习疑点记录
cra2yPineapple的博客
09-20 330
Python set() 函数 描述 set() 函数创建一个无序不重复元素集，可进行关系测试，删除重复数据，还可以计算交集、差集、并集等。 语法 set 语法： class set([iterable]) 参数说明： iterable -- 可迭代对象对象； 返回值 返回新的集合对象。 实例 以下实例展示了 set 的使用方法：   >>>x = s...
python学习疑点总结
FeelTouch Labs
05-20 1664
1.  疑惑：a. for score in data[1:]:         解答：将score一一赋data中从1号（第二个）开始到最后一个元素的值           b. for I in range(3):         解答 : 将i赋予从零到三的值。 2.  配置系统环境变量：在Path变量中把Python安装路径，加到它的结尾。注意，要用英文分号和前面已有的内容隔开
pytorch 1.4 tutorial 学习疑点笔记
weixin_42633401的博客
10-14 200
Autograd 自动求导 backgrad() 函数 out.backward() equal to out.ackward(torch.tensor(1)) 思考当out.backward(torch.tensor([0.,0.2,0.5]))的情况 利用雅可比矩阵的特性链式法则计算 当backward后面为向量的时候，相当于我们此时的起始节点在二级非叶子节点上，此时的输入向量为dout/dy，三级非叶子节点相对于二级非叶子节点的导数为dy/dx。利用雅可比矩阵链式法则，我们知道叶子节点相对于三级非叶子
多元统计分析上机题之R语言实现（主成分）
zx403413599的博客
10-31 6193
引言主成分分析是一门降维的技术，即将多个指标用少数几个综合指标表示出来。主成分分析可以用于变量的降维和数据的解释。 本节数据可从多元统计分析上机题之R语言实现（多元正态分布）下载。8.10data_8.10<-read.table("/home/wangjianlong/files/college/duoyuantongji/JohnsonWichern Data sets/T8-4.DAT")
探索搜索领域防作弊的多元途径
最新发布
专注搜索引擎技术
05-26 1007
当你在搜索引擎输入“2024年最佳笔记本电脑推荐”，前几页结果却全是商家花钱刷的广告；或是搜索“考研复习资料”时，点开链接发现内容东拼西凑……这些都是搜索作弊的“恶果”。本文将聚焦搜索领域防作弊这一核心问题，覆盖作弊行为的常见类型、防作弊的主流技术手段（规则引擎/机器学习/图算法等）、实际应用场景及未来挑战，帮助读者理解“为什么有些垃圾内容能被快速识别，有些却‘道高一尺魔高一丈’”。
R语言与统计分析
小飞侠的博客
12-16 1万+
R语言与统计分析 汤银才 主编 高等教育出版社 二○○八年五月 内容介绍 本书以数据的常用统计分析方法为基础，在简明扼要地阐述统计学基本概 念、基本思想与基本方法的基础上，讲述与之相对应的R函数的实现，并通过 具体的例子说明统计问题求解的过程. 本书注重思想性、实用性和可操作性. 在内容的安排上不仅包含了基础统 计分析中的探索性数据分析、参数的估计与假设检验，还包括的非参数统计分...
周志华《机器学习》第三章线性模型笔记+习题
热门推荐
AIGC Studio：分享AIGC前沿知识和好玩应用，公众号同名。
05-16 1万+
第3章 线性模型 所谓线性模型，也即是： 1. 假定示例有dd个属性，x=(x1,x2,...,xd)x=(x1,x2,...,xd) 2. 试图通过属性的线性组合进行预测 f(x)=∑i=1dwixi+b f(x)=∑i=1dwixi+b 用向量形式表示就是： f(x)=wTx+b f(x)=wTx+b 线性模型虽然简单，但却是基础。先研究线性、单属性的线性回归问题，便可以进一步研究非线...
python一元三次方程拟合_线性回归之正规方程原理推导
weixin_31429257的博客
12-18 1150
线性回归之正规方程原理推导本篇文章，适用有一定基础的程序员。正规方程求解线性回归的解：有的用系数$$theta$$表示，有的用$$w$$表示，仅仅是符号不同而已。$$theta = (X^TX)^{-1} X^Ty$$$$w = (X^TX)^{-1} X^Ty$$线性回归的理论基础是，最小二乘法skleran官方公式：$$minlimits{w}||Xw - y||2^2$$其中X，w和y都是矩...
机器人手眼标定中的最小二乘法
weixin_41496173的博客
02-22 1804
1.矩阵中最小二乘法 此处主要从线性回归谈起。例： 求方程γ=β0+β1x\gamma=\beta_0+\beta_1xγ=β0​+β1​x的最小二乘直线，最初拟合数据点为：(2,1),(5, 2),(7, 3),(8, 3)。 解：可构造向量： X\mathit{X}X=[12151718]\begin{bmatrix} 1&2\\ 1&5\\ 1&7\\ 1&8\\ \end{bmatrix}⎣⎢⎢⎡​1111​2578​⎦⎥⎥⎤​ ,y\mathit{y}y=[1233
机器学习笔记01:正规方程θ 的推导
风雪夜归人的博客
07-27 526
Normal equation(正规方程)的推导中θ值, θ=(XTX)−1XTy θ = (X^T X)^{-1}X^Ty θ=(XTX)−1XTy的由来一直看不明白,推荐一个讲的比较清楚老哥博客, 传送门
手撕岭回归
神奇海螺万岁
05-13 273
岭回归 在线性回归模型中，其参数估计公式为 β=(XTX)-1XTY ，当 XTX 不可逆时无法求出 β ，另外如果 |XTX| 越趋近于0，会使得回归系数趋向于无穷大，此时得到的回归系数是无意义的。解决这类问题可以使用岭回归 推导过程 线性回归的目标函数 J(β)=∑(y-Xβ)2 为了保证回归系数 β 可求，岭回归模型在目标函数上加了一个L2范数的惩罚项 J(β)=∑(y−Xβ)2+λ∣∣β∣∣22=∑(y−Xβ)2+∑λβ2J(\beta)=\sum{(y-X\beta)^{2}}+\lambda||
正规方程的另一种推导方式
weixin_46870724的博客
01-09 465
总损失定义为：把损失函数分开书写：Xw−y​2​​Xw−y​T​​Xw−y对展开上式进行求导：需要求得求导函数的极小值，即上式求导结果为0，经过化解，得结果为：X​T​​XwX​T​​y经过化解为：wX​T​​X​−1​​X​T​​y补充：需要用到的矩阵求导公式：​dx​​dx​T​​A​​A​dx​​dAx​​A​T​​。
机器学习-初级入门（回归算法-多种线性回归算法详解）
小小龙的博客
04-11 944
一、简单线性回归 基本公式 根据假设条件推出损失函数 所有样本独立同分布(iid)，且误差项服从以下分布： 用最小二乘法与以上假设的关系推导如下: 使用MLE(极大似然法)估计参数如下: ...
剑指offer_06_从尾到头打印链表
cpyy103的博客
12-06 98
剑指offer_06_从尾到头打印链表 描述 简单 输入一个链表的头节点，从尾到头反过来返回每个节点的值（用数组返回）。 示例 输入：head = [1,3,2] 输出：[2,3,1] 限制： 0 <= 链表长度 <= 10000 解题 最简单的，遍历链表，将值insert头插入列表 也可以在列表后面append，最后倒序返回 # Definition for singly-linked list. # class ListNode: # def __init__(self, x):
多元线性回归，参数估计，模拟，最小二乘法，极大似然估计，matlab
m0_50606557的博客
05-27 3244
极大似然估计，最小二乘，matlab代码，模拟，产生数据，多元线性回归参数估计
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值