线性回归——局部加权回归

最新推荐文章于 2024-08-07 15:07:24 发布
最新推荐文章于 2024-08-07 15:07:24 发布
阅读量1.3k 收藏 2
点赞数 1
分类专栏： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-NC-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/txpp520/article/details/105673512
版权

有时候样本的波动很明显，可以采用局部加权回归，如下图，红色的线为局部加权回归的结果，

蓝色的线为普通的多项式回归的结果。蓝色的线有一些欠拟合了。

多项式回归——多一些 高次项的回归

局部加权回归的方法如下，首先看线性或多项式回归的损失函数 

很明显，局部加权回归在每一次预测新样本时都会重新确定参数，以达到更好的预测效果。当数据规模比较大的时候计算量很大，学习效率很低。并且局部加权回归也不是一定就是避免underfitting，因为那些波动的样本可能是异常值或者数据噪声。

 

多项式曲线拟合 - 知乎
https://zhuanlan.zhihu.com/p/53056358

python线性加权回归_第二十一章 regression算法——线性回归&局部加权回归算法（上）...
weixin_42098251的博客
02-21 1074
理论部分回归是统计学中最有力的工具之一。监督学习算法分为分类算法和回归算法两种，其实就是根据类别标签分布类型为离散型、连续性而定义的。顾名思义，分类算法用于离散型分布预测，如KNN、决策树、朴素贝叶斯、adaboost、SVM、Logistic回归都是分类算法；回归算法用于连续型分布预测，针对的是数值型的样本，使用回归，可以在给定输入的时候预测出一个数值，这是对分类方法的提升，因为这样可以预测连续...
局部加权线性回归
略略略的博客
07-29 2640
1.基本概念  欠拟合：由于样本数据过少过着其他因素，拟合模型在数据预报时会造成偏差。如图中的左和中为求出的回归方程，然而在x的取值和真实差别很大，这个情况叫做欠拟合。  过拟合：简单理解就是训练样本的得到的输出和期望输出基本一致，但是测试样本输出和测试样本的期望输出相差却很大 。  一般情况下：  对于特征集过小的情况，称之为欠拟合（underfitting）  对于特征集过大的情况，
【Python机器学习】回归——局部加权线性回归
weixin_39407597的博客
08-07 703
在该算法中，我们给待预测点附近的每个点赋予一定的权重，然后在这个子集上基于最小均方差来进行普通的回归，与kNN一样，这种算法每次预测均需要事先选取出对应的数据子集。
斯坦福机器学习第二课——局部加权线性回归(Locally weighted linear regression)
Xiaoqing的博客
07-10 1146
上一节内容总结了线性回归方法，并在求θ用到了梯度下降方法。这一节将利用梯度下降方法，讨论局部加权线性回归（Locally weighted linear regression）前提知识补充：非参数算法：虽然样本容量不断扩充，拟合曲线也会改变。参数算法：由常数θ决定，不随样本容量不断扩充而改变。例如线性回归过程。似然函数定义：总的来说步骤就是令误差服从高斯分布后，取对数的结果。具体步骤如下1.假设输...
实战（python）利用线性回归来预测鲍鱼年龄 利用线性回归和局部
06-26
在本实战项目中，我们将探讨如何使用Python编程语言和两种不同的线性回归模型——标准线性回归和局部加权线性回归（LOESS）来预测鲍鱼的年龄。线性回归是统计学和机器学习中一种基本且重要的预测模型，它通过建立因...
【Python机器学习】线性回归——示例：预测鲍鱼的年龄
weixin_39407597的博客
08-07 666
必须在未知数据上比较效果才能取到最佳模型。
详解局部加权回归
热门推荐
但行好事，莫问前程
11-17 1万+
在线性回归中，对于给定的训练集，用一个线性表达式来拟合所有数据，当训练集中输入变量和目标变量之间的确存在线性关系时，通常拟合的很好。但是如果没有明显的线性关系的话，可能就拟合不到好的效果了。比如下面坐标表示的情形，用一条直线来拟合图上的点显然不是很合适。 这种情况叫做欠拟合（underfitting）。 通常来说，对待这种情况，特征的选择可能会非常的重要，比如，对于上面的图，如果加特征
局部加权回归
weixin_71158509的博客
02-14 3874
需要注意的是，由于每个目标点的回归模型都是针对附近的样本点进行建模的，因此在预测新的数据时，需要重新计算权重并进行局部拟合，计算量较大。由于每个目标点的回归模型都是针对附近的样本点进行建模的，因此在预测新的数据时，需要重新计算权重并进行局部拟合，计算量较大。局部加权回归的基本思想是对于给定的目标点，通过定义一个权重函数，对样本点进行加权，并利用加权的样本点来拟合回归模型。5. 得到回归模型后，预测新的数据点时，使用相同的权重函数计算目标点附近样本点的权重，根据权重对样本点进行加权平均，得到预测值。
头歌局部加权线性回归
最新发布
03-14
### 关于头歌平台中的局部加权线性回归实现 #### 局部加权线性回归简介 局部加权线性回归是一种改进版的线性回归算法，它通过引入权重来解决标准线性回归可能存在的欠拟合问题[^2]。这种方法的核心在于其“局部”特性和“加权”的机制，在预测某个特定点时，会赋予靠近该点的数据更高的权重。 #### 头歌平台概述 头歌（TOOGOO）是一个专注于在线编程教育和实践的平台，提供了丰富的实验资源和项目案例。对于机器学习相关内容，尤其是像局部加权线性回归这样的算法，通常可以通过其实验环境完成模型构建、训练以及可视化操作。 #### 实现方法详解 以下是基于头歌平台实现局部加权线性回归的一般流程： 1. **导入必要的库** 需要先加载Python中常用的科学计算库，例如`numpy`用于数值运算，`pandas`处理数据集，而`matplotlib`则负责绘图展示。 ```python import numpy as np import pandas as pd import matplotlib.pyplot as plt ``` 2. **定义核心函数** 定义一个执行局部加权线性回归的主要函数 `lwlr` ，此函数接收输入特征X、目标变量y及带宽参数k作为输入，并返回对应的预测值。 ```python def lwlr(testPoint, X, y, k=1.0): m = X.shape[0] weights = np.eye(m) for i in range(m): # 计算每个样本相对于测试点的距离并转化为权重 diff = testPoint - X[i] weights[i, i] = np.exp(diff.dot(diff.T)/(-2*k**2)) xTx = X.T @ (weights * X) # 加权后的矩阵乘法 if np.linalg.det(xTx) == 0.0: # 判断是否为奇异矩阵 raise NameError('This matrix is singular') ws = np.linalg.inv(xTx) @ (X.T @ (weights * y)) # 解方程求解系数向量ws return testPoint @ ws # 返回预测值 ``` 3. **准备数据集** 使用真实世界或者模拟生成的数据集来进行验证。可以利用Pandas读取CSV文件或将随机数列组合成DataFrame形式。 ```python data = {'feature': [i/10 for i in range(10)], 'label':[np.sin(i)+np.random.normal(scale=0.15) for i in range(10)]} df = pd.DataFrame(data=data) X = np.array(df['feature']).reshape((-1,1)) y = np.array(df['label']) ``` 4. **调用与结果分析** 对整个数据集合应用上述定义好的`lwlr` 函数逐一获取各点处估计值得到最终曲线图像表示效果如何。 ```python predictions = [] for point in X: pred = lwlr(point.reshape((1,-1)), X, y, k=0.1)[0][0] predictions.append(pred) plt.scatter(X,y,label='Original Data') # 绘制原始散点图 sorted_indices = np.argsort(X.flatten()) # 排序索引以便平滑显示趋势线 plt.plot(X[sorted_indices], np.array(predictions)[sorted_indices],'r-', label=f'Predicted Curve(k={0.1})') plt.legend() plt.show() ``` 以上就是在头歌平台上实现局部加权线性回归的一个基本框架[^3]。 #### 注意事项 - 参数调整：其中的关键超参——核宽度\(k\)的选择直接影响着模型的表现力；过大可能导致过度简化忽略细节变化规律，过小又容易陷入噪声干扰造成波动剧烈不稳现象发生。 - 数据预处理：实际工程场景下往往还需要考虑缺失值填补、异常检测剔除等工作环节以提高建模质量水平。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

往事如yan

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值