机器学习实战 第八章 预测数值型数据：回归（Regression）

最新推荐文章于 2025-05-20 21:58:44 发布
原创 最新推荐文章于 2025-05-20 21:58:44 发布 · 4.6k 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文深入探讨回归技术，从线性回归开始，讲解如何找到最佳拟合直线，然后介绍局部加权线性回归（LWLR）以改善欠拟合。接着，讨论缩减方法，包括岭回归、lasso和前向逐步回归，以平衡偏差和误差。最后，分析了在机器学习中权衡偏差与误差的重要性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

首先介绍线性回归，然后引入局部平滑技术，更好地拟合数据。接着探讨回归在“欠拟合”情况下的缩减（shrinkage），探讨偏差和方差的概念。

一、用线性回归找到最佳拟合直线

优点：结果已于理解，计算上并不复杂。
缺点：对非线性的数据拟合不好。
使用数据类型：数值型和标称型。

回归方程（regression equation），回归系数（regression weights），求回归系数的过程就是回归。说到回归，一般都是指线性回归（linear regression），还存在非线性回归模型。

假定输入数据存放在矩阵X中，而回归系数存放在向量 w 中，那么对于给定的数据X1，预测结果将会通过Y1=XT1w。现在的问题是，手里有一些x和对应的 y ，如何找到w呢？常用的方法是找到使误差（一般采用平方误差，否则正负误差会相互抵消）最小的 w 。平方误差可写作：

∑i=1m(yi−xTiw)2

用矩阵表示还可以写成(Y−Xw)T(Y−Xw)，如果对w求导，得到XT(Y−Xw)，令其等于零，解出w如下（这里的 w^ 是

最低0.47元/天 解锁文章

200万优质内容无限畅学
机器学习第八章：预测数值型数据：回归
weixin_47405296的博客
10-28 1553
如果某个特征的权重在不同正则化参数变化过程中始终保持接近于零且没有明显的浮动，那么这个特征在岭回归模型中的作用很小，对模型的预测结果贡献不大。总之，“预测数值型数据：回归” 这一章节介绍了回归分析的基本概念、模型形式、求解方法、评估指标和正则化等内容，是机器学习中非常重要的一部分。通过学习这一章节，可以掌握回归分析的基本原理和方法，并能够应用到实际的数据分析和预测问题中。章节中可能会给出一些实际的应用案例，例如房价预测、股票价格预测等，通过这些案例可以更好地理解回归模型的应用场景和实际效果。
机器学习实战-预测数值型数据：回归
txb_doyourbest的博客
05-13 1070
1，用线性回归找到最佳拟合直线 回归的目的是预测数值型的目标值。 回归方程（regression equation）主要是求回归系数，一旦有了回归系数，在给定输入，做预测就是用回归系数乘以输入值，在将结果全部加在一起，就得到了预测值。（因为回归系数是一个向量，输入也是向量，这些运算就是求出二者的内积） 回归的一般方法： 1）收集数据：采用任意方法收集数据 2）准备数据：回归需要数值型数据...
应用回归数据
02-27
应用回归分析（R语言） 电子工业出版社 何晓群 配书数据
预测数值型数据：回归
qq_57938806的博客
12-09 967
当数据的样本数比特征数还少时候，矩阵的逆不能直接计算。即便当样本数比特征数多时，的逆仍有可能无法直接计算，这是因为特征有可能高度相关。这时可以考虑使用岭回归，因为当的逆不能计算时，它仍保证能求得回归参数。岭回归是缩减法的一种，相当于对回归系数的大小施加了限制。另一种很好的缩减法是lasso。Lasso难以求解，但可以使用计算简便的逐步线性回归方法来求得近似结果。缩减法还可以看做是对一个模型增加偏差的同时减少方差。
基于线性回归的数据预测
最新发布
qq_53567171的博客
05-20 194
3. 使用线性回归模型进行建模。采用80%数据用于训练，20%用于测试，重复划分数据集并训练模型20次，记录每次结果（交叉验证）。4. 输出平均均方误差（MSE）或平均绝对误差（MAE），并可选与其他模型（如决策树回归、岭回归等）对比。1. 自主选择一个公开回归任务数据集（如房价预测、医疗数据、空气质量预测等，可Kaggle）。2. 数据预处理：完成标准化（Normalization）、特征选择或缺失值处理等步骤。
【回归预测-FNN预测】基于粒子群优化前馈网络实现对婚姻和离婚数据回归预测附matlab代码
matlab_dingdang的博客
08-24 516
（婚姻和离婚数据））数据集信息：此数据包含 31 列 (100x31)。前 30 列是特征（输入），即年龄差距、教育程度、经济相似性、社会相似性、文化相似性、社会差距、共同兴趣、宗教相容性、前婚子女数量、结婚愿望、独立性、与父母的关系配偶家庭，交易，订婚时间，爱情，承诺，心理健康，生孩子的感觉，以前的交易，以前的婚姻，共同基因的比例，成瘾，忠诚度，身高比，良好的收入，自信，与非-婚前配偶、家庭确认配偶、家庭离婚1级开始与异性交往。第 31 列是离婚概率（目标）。
【自然语言处理入门】03：利用线性回归对数据集进行分析预测（下）
山不过来，我就过去
12-21 1855
上一篇中我们简单的介绍了利用线性回归分析并预测波士顿房价数据集，那么在这一篇中，将使用相同的模型来对红酒数据集进行分析。
机器学习——预测数值型数据：回归
weixin_33712987的博客
12-21 419
线性回归 优点：结果易于理解，计算上不复杂 缺点：对非线性的数据拟合不好 适用数据类型：数值型和标称型数据   回归的目的就预测数值型的目标值。最直接的办法就是依据输入写一个目标值的计算公式。这个计算公式就是所谓的回归方程(regression equation)，其中的参数就是回归系数，求这些回归系数的过程就是回归。 　　说道回归，一般都是指线性回归（linear regression）。 给...
机器学习实战第八章 - 预测数值型数据：回归
渐渐遗忘的记忆
03-16 647
一，线性回归1，线性回归的特点线性回归 优点：结果易于理解，计算上不复杂 缺点：对非线性的数据拟合不好 适用数据类型：数值型和标称型数据 2，线性回归的要素(1)线性回归模型：h(xi)=xTi∗wh(x_i) = x_i^T*w (2)目标函数：J(w)=12m∑i=1m(yi−h(xi))J(w) = \frac{1}{2m}\sum_{i=1}^{m}(y_i-h(x_i)) (3)最优
机器学习实战—预测数值型数据：回归
zoinsung_lee的博客
04-28 1051
一、用线性回归找到最佳拟合直线 回归的目的是预测数值型的目标值，即依据输入写出一个目标值的计算公式。 这个公式就是所谓的回归方程，此处的HorsePower是我们要求的目标值，0.0015和-0.99就是回归方程的回归系数，annualSalary和hourListingToPublicRadio是计算目标值所需要输入的值。 求这些回归系数的过程就是回归。 给定输入X矩阵，回归系数存放...
python线性回归x可以数量不一样吗_Python数分：回归分析
weixin_39710041的博客
11-30 829
文章主要介绍两种常见的回归分析方法，以及其对应的Python实现操作。我会从以下几个方面来介绍：什么是回归分析为什么使用回归分析回归分析技术有哪些使用Python实现回归分析什么是回归分析在统计学中，回归分析（regression analysis)指的是确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法。在大数据分析中，回归分析是一种预测性的建模技术，它研究的是因变量（目标）和自变量（...
mnist线性回归预测（含数据集）Python TensorFlow
10-09
人工智能机器学习入门，minist线性回归，图像识别预测分类
线性回归数据集
12-25
.csv格式的线性回归的实验数据集，可以比较简单地拟合成一个直线。
线性回归实验数据
05-22
与我的博客内容同步http://blog.youkuaiyun.com/google19890102
回归预测算法
weixin_33856370的博客
03-12 5306
1、基础 适用数据：数值型。 （1）相关系数（R2）衡量 有时候，我们需要计算预测值与实际值的匹配程度，来衡量所建立模型的好坏。此时，需要计算Y、Y‘的相关系数： 其中，Cov表示协方差，Var表示方差。 （2）缩减系数 当数据的特征比样本数目还多时，此时n>m，输入的样本矩阵非满秩矩阵，在求逆时会出错。 2、线性回归 线性回归意味着将输入数据分别乘以一些常量（回归系...
数据分析之回归分析详解
xiangxueerfei的博客
06-07 6988
2. 比较适合于不同模型的优点，我们可以分析不同的指标参数，如统计意义的参数，R-square，Adjusted R-square，AIC，BIC以及误差项，另一个是Mallows’ Cp准则。然而，在我们的处理中，可选择的越多，选择正确的一个就越难。当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。在这种技术中，因变量是连续的，自变量可以是连续的也可以是离散的，回归线的性质是线性的。
【机器学习实战】第8章 预测数值型数据：回归
片刻 - ApacheCN
10-09 1378
第8章 预测数值型数据：回归 http://cdn.mathjax.org/mathjax/latest/MathJax.js?config=default">> 回归（Regression） 概述 我们前边提到的分类的目标变量是标称型数据，而回归则是对连续型的数据做出处理，回归的目的是预测数值型数据的目标值。 回归 场景 回归的目的是预测数值型的目标值。
回归预测3：机器学习处理悉尼-墨尔数据集
ww596520206的博客
02-27 378
我们处理悉尼-墨尔本的房价预测问题，数据集有些变量是字符串形式，有些和时间相关，在本实验中，我们主要使用时间编码、异常点检测zscore、特征编码：LabelEncoder、MEstimateEncoder，最后通过实验对比，给出结论。
关于预测问题(回归分析)
apsvvfb的专栏
11-14 3169
最近需要做 已知的是日期，时间，地点，人数。 需要知道下一个时间点的人数。 网上查了资料以后觉得可以使用回归分析。 回归分析大概是给了自变量(x=x1,x2,x3,...\bf x={x_1,x_2,x_3,...}x=x1​,x2​,x3​,...)和因变量，推测出它们的模型fff。 y=f(x)\bf y=f(\bf x)y=f(x) 这样再给自变量以后，就可以计算出y\bf yy了 列一些...
应用预测鲍鱼年龄数据集对python编写的线性回归程序进行验证，画出可视化图形，并进行分析，给出代码，代码参考《机器学习实战》第8章“预测数值型数据：回归”相关内容。注：不使用sklearn
09-20
在Python中，我们可以使用matplotlib库绘制图形，pandas处理数据，numpy进行数学运算，以及自定义线性回归模型来进行预测。这里是一个简单的例子，假设你有一个名为`abalone_data.csv`的数据集，其中包含鲍鱼年龄以及其他可能影响年龄的因素。 首先，你需要导入所需的库并加载数据： ```python import pandas as pd import matplotlib.pyplot as plt import numpy as np # 加载数据 data = pd.read_csv('abalone_data.csv') ``` 然后，你可以选择一些特征作为输入X，比如壳长、壳高和重量等，年龄作为输出Y： ```python X = data[['length', 'diameter', 'weight']] # 假设长度、直径和重量是特征 y = data['rings'] # 假设rings列是目标变量，即年龄 ``` 接着，创建一个简单的线性回归模型： ```python class LinearRegression: def __init__(self, learning_rate=0.01, n_iterations=1000): self.learning_rate = learning_rate self.n_iterations = n_iterations self.weights = np.zeros(X.shape[1]) self.bias = 0 def predict(self, X): return np.dot(X, self.weights) + self.bias def fit(self, X, y): for _ in range(self.n_iterations): y_pred = self.predict(X) dw = (1 / len(y)) * np.dot(X.T, (y - y_pred)) db = (1 / len(y)) * np.sum(y - y_pred) self.weights -= self.learning_rate * dw self.bias -= self.learning_rate * db ``` 训练模型并进行预测： ```python model = LinearRegression() model.fit(X, y) predictions = model.predict(X) ``` 为了可视化结果，你可以画出实际年龄和预测年龄之间的散点图： ```python plt.scatter(y, predictions) plt.xlabel('Actual Rings') plt.ylabel('Predicted Rings') plt.title('Age Prediction using Simple Linear Regression') plt.show() ``` 分析部分，你可以通过观察散点图和回归线的倾斜程度判断模型的效果。如果大部分点接近直线，说明模型拟合较好；若偏离较大，可能存在过拟合或欠拟合问题。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值