【回归算法】局部加权回归(LWR)详解

局部加权线性回归算法(Locally Weighted Linear Regression)及相关案例 局部加权线性回归算法(Local Weighted Linear Regression)及相关案例 大家好,我是W 这次讲线性回归,之前有说逻辑回归(Logistic Regression),虽然逻辑回归负责分类,可是在数据到达二值函数之前的逻辑都是线性回归的逻辑,所以这两个回归是十分相似的。这篇文章的顺序是:1、线性回归算法原理 2、最小二乘法和算法评估标准 3、案例1-简单数据集标准线性回归 4、案例2-简单数据集局部加权线性回归 5、案例3-鲍鱼年龄预测。 案例2-简单数据集局部加权线性回归 接上一篇 阅读详情

局部加权回归(LWR)详解 | 原理+实战+对比(适合本科/研究生)

前言

普通线性回归通过一条全局直线拟合所有数据,适合数据呈整体线性趋势的场景,但现实中多数数据存在复杂的局部非线性规律(比如身高体重关系:小孩、青少年、成年人的规律完全不同),此时全局线性回归的预测效果会大幅下降。

局部加权回归(Locally Weighted Regression, LWR) 作为一种非参数回归方法,核心解决了这一问题:它不为所有数据找统一规律,而是对每个预测点,单独在其附近构建局部线性模型,离预测点越近的数据权重越高,远的数据权重越低,最终实现对复杂局部非线性趋势的精准拟合。

本文从核心概念、数学原理、算法流程、实战案例、模型对比五个维度,用通俗易懂的语言讲解LWR,附带可直接运行的Python代码,适合本科、研究生学习和实验。

一、局部加权回归核心认知:从“全局”到“局部”

1. 普通线性回归的痛点

普通线性回归的核心是拟合全局统一的线性模型,用一条直线覆盖所有数据,求解一个全局唯一的参数θ\thetaθ。
这种方式的问题在于:当数据存在局部不同的规律时,全局直线无法精准贴合每个区域的趋势,预测偏差大。

生活案例:预测身高与体重的关系

  • 小孩:身高增加,体重增长缓慢;
  • 青少年:身高和体重呈强线性相关;
  • 成年人:身高基本不变,体重差异大。
    若用一条直线拟合所有人群的数据,结果必然无法反映各阶段的真实规律。

2. LWR的核心思想:“近朱者赤,近墨者黑”

LWR的核心可以用一句话概括:预测某个点时,只重点参考离它近的数据,离得越近权重越高,远的数据几乎忽略,为每个预测点单独拟合局部线性模型。

类比理解:

  • 普通线性回归:问全班同学一个问题,取所有人的答案平均值;
  • 局部加权回归:只问坐在你周围的同学,离你越近的同学,答案权重越高,最终用周围同学的答案做判断。

3. LWR的直观案例

假设我们有身高数据([150,160,170,180,190]),要预测身高170cm的体重:

  • 普通线性回归:用所有5个身高数据拟合一条全局直线,预测170cm的体重;
  • 局部加权回归:重点参考(160、170、180)的近数据(权重高),轻微参考(150、190)的远数据(权重低),为170cm这个点单独拟合一条局部直线,预测结果更贴合该区域的真实规律。

4. LWR的关键特性

  1. 非参数模型:不学习固定的全局参数,每个预测点对应一个专属的局部参数θ\thetaθ;
  2. 懒惰学习(Lazy Learning):无离线训练过程,只有预测时才会基于训练数据构建局部模型;
  3. 局部性:预测结果仅由预测点附近的少量数据决定,远离的异常值几乎无影响;
  4. 灵活性:无需预设数据的全局函数形式,自适应捕捉局部非线性趋势。

二、局部加权回归的数学原理(本科/研究生易懂版)

1. 回归问题的基本定义

给定训练数据集{(x(1),y(1)),(x(2),y(2)),...,(x(m),y(m))}\{(x^{(1)},y^{(1)}),(x^{(2)},y^{(2)}),...,(x^{(m)},y^{(m)})\}{(x(1),y(1)),(x(2),y(2)),...,(x(m),y(m))}:

  • x(i)∈Rnx^{(i)} \in \mathbb{R}^nx(i)∈Rn:第iii个样本的特征向量(单特征时为标量);
  • y(i)∈Ry^{(i)} \in \mathbb{R}y(i)∈R:第iii个样本的输出值;
  • 目标:学习函数hθ(x)h_\theta(x)hθ​(x),拟合输入到输出的关系,实现对新样本的预测。

2. 普通线性回归的回顾

普通线性回归的拟合函数为:
hθ(x)=θTx=θ0+θ1x1+θ2x2+⋯+θnxnh_{\theta}(x)=\theta^{T} x=\theta_{0}+\theta_{1} x_{1}+\theta_{2} x_{2}+\cdots+\theta_{n} x_{n}hθ​(x)=θTx=θ0​+θ1​x1​+θ2​x2​+⋯+θn​xn​
通过最小化全局均方误差求解最优参数θ\thetaθ,代价函数为:
J(θ)=12∑i=1m(hθ(x(i))−y(i))2J(\theta)=\frac{1}{2} \sum_{i=1}^{m}\left(h_{\theta}\left(x^{(i)}\right)-y^{(i)}\right)^{2}J(θ)=21​∑i=1m​(hθ​(x(i))−y(i))2
最终得到全局唯一的参数θ\thetaθ,所有预测都基于该参数。

3. LWR的核心改进:加权代价函数

LWR对普通线性回归的唯一(也是核心)改进是:为每个训练样本添加一个权重w(i)w^{(i)}w(i),权重大小由样本与预测点的距离决定。

(1)加权代价函数

LWR的代价函数为加权均方误差,形式为:
J(θ)=12∑i=1mw(i)(hθ(x(i))−y(i))2J(\theta)=\frac{1}{2} \sum_{i=1}^{m} w^{(i)}\left(h_{\theta}\left(x^{(i)}\right)-y^{(i)}\right)^{2}J(θ)=21​∑i=1m​w(i)(hθ​(x(i))−y(i))2

  • 权重w(i)∈[0,1]w^{(i)} \in [0,1]w(i)∈[0,1]:离预测点xxx越近,w(i)w^{(i)}w(i)越接近1,误差对代价函数影响越大;
  • 离预测点xxx越远,w(i)w^{(i)}w(i)越接近0,误差对代价函数影响越小(几乎忽略)。
(2)权重的计算:核函数(最常用高斯核)

权重w(i)w^{(i)}w(i)通过核函数计算,核函数的作用是量化样本与预测点的距离,转化为权重,高斯核(平方指数核)是LWR中最常用的核函数,公式为:
w(i)=exp(−(x−x(i))T(x−x(i))2τ2)w^{(i)}=exp \left(-\frac{\left(x-x^{(i)}\right)^{T}\left(x-x^{(i)}\right)}{2 \tau^{2}}\right)w(i)=exp(−2τ2(x−x(i))T(x−x(i))​)

  • xxx:当前待预测的点;
  • x(i)x^{(i)}x(i):第(i)个训练样本;
  • (x−x(i))T(x−x(i))(x-x^{(i)})^T(x-x^{(i)})(x−x(i))T(x−x(i)):欧氏距离的平方(单特征时为(x−x(i))2(x-x^{(i)})^2(x−x(i))2);
  • τ\tauτ:平滑参数/带宽(bandwidth),LWR的唯一超参数,核心控制“局部范围的大小”。
(3)平滑参数(\tau)的关键作用

τ\tauτ的大小直接决定LWR的拟合效果,是调参的核心:

  • τ\tauτ 越小:局部范围越窄,只考虑极近的样本,模型拟合能力极强,易过拟合(曲线过度震荡);
  • τ\tauτ 越大:局部范围越宽,考虑更多远样本,模型拟合能力变弱,最终退化为普通线性回归;
  • τ\tauτ 适中:既能捕捉局部非线性趋势,又能避免过拟合,拟合曲线平滑自然。

4. LWR的参数求解:加权最小二乘(正规方程)

LWR的目标是最小化加权代价函数,求解当前预测点xxx对应的局部参数θ\thetaθ,推导过程基于矩阵形式,最终得到闭式解(正规方程),无需迭代求解。

(1)矩阵形式定义
  • 设计矩阵X∈Rm×nX \in \mathbb{R}^{m×n}X∈Rm×n:每行对应一个训练样本的特征向量x(i)x^{(i)}x(i);
  • 标签向量y∈Rm×1y \in \mathbb{R}^{m×1}y∈Rm×1:包含所有训练样本的输出值;
  • 权重矩阵W∈Rm×mW \in \mathbb{R}^{m×m}W∈Rm×m:对角矩阵,主对角线元素为Wii=w(i)W_{ii}=w^{(i)}Wii​=w(i),非对角线元素为0。
(2)代价函数的矩阵形式

J(θ)=12(Xθ−y)TW(Xθ−y)J(\theta)=\frac{1}{2}(X \theta-y)^{T} W(X \theta-y)J(θ)=21​(Xθ−y)TW(Xθ−y)

(3)求导求解最优参数θ\thetaθ

对θ\thetaθ求偏导并令梯度为0(代价函数最小的必要条件):
∇θJ(θ)=XTW(Xθ−y)=0\nabla_{\theta} J(\theta)=X^{T} W(X \theta-y)=0∇θ​J(θ)=XTW(Xθ−y)=0
整理后得到LWR的正规方程解:
θ=(XTWX)−1XTWy\theta=\left(X^{T} W X\right)^{-1} X^{T} W yθ=(XTWX)−1XTWy

(4)关键注意点

这个θ\thetaθ是当前预测点(x)专属的局部参数,不是全局唯一的!每个预测点都会对应一个新的权重矩阵WWW,进而求解出一个新的θ\thetaθ,这是LWR与普通线性回归的本质区别。

5. LWR的预测公式

得到当前预测点xxx的局部参数θ\thetaθ后,预测值为:
y^=θTx\hat{y}=\theta^{T} xy^​=θTx
每个新预测点都要重复“计算权重矩阵→求解局部θ\thetaθ→计算预测值”的过程。

三、局部加权回归的完整算法流程

LWR无离线训练阶段,所有计算都在预测时完成,对于任意新预测点xxx,完整算法流程如下,步骤清晰可落地:

输入

  1. 训练数据集:{(x(1),y(1)),(x(2),y(2)),...,(x(m),y(m))}\{(x^{(1)},y^{(1)}),(x^{(2)},y^{(2)}),...,(x^{(m)},y^{(m)})\}{(x(1),y(1)),(x(2),y(2)),...,(x(m),y(m))};
  2. 待预测点:xxx(单特征/多特征均可);
  3. 超参数:平滑参数τ\tauτ(需调参确定)。

步骤1:计算每个训练样本的权重,构建权重矩阵(W)

  1. 对每个训练样本x(i)x^{(i)}x(i),通过高斯核计算权重w(i)w^{(i)}w(i):
    w(i)=exp(−(x−x(i))T(x−x(i))2τ2)w^{(i)}=exp \left(-\frac{\left(x-x^{(i)}\right)^{T}\left(x-x^{(i)}\right)}{2 \tau^{2}}\right)w(i)=exp(−2τ2(x−x(i))T(x−x(i))​)
  2. 构建对角权重矩阵(W):主对角线Wii=w(i)W_{ii}=w^{(i)}Wii​=w(i),非对角线为0。

步骤2:构造设计矩阵(X)和标签向量(y)

  • 设计矩阵(X):每行是一个训练样本的特征向量,维度m×nm×nm×n;
  • 标签向量(y):包含所有训练样本的输出值,维度m×1m×1m×1。

步骤3:通过正规方程求解局部参数θ\thetaθ

θ=(XTWX)−1XTWy\theta=\left(X^{T} W X\right)^{-1} X^{T} W yθ=(XTWX)−1XTWy
注:若XTWXX^TWXXTWX奇异(行列式为0),用伪逆替代逆矩阵求解,避免计算错误。

步骤4:计算当前预测点的输出值

y^=θTx\hat{y}=\theta^{T} xy^​=θTx

输出

待预测点xxx的预测值y^\hat{y}y^​。

四、LWR实战案例:拟合带噪声的正弦曲线(Python可直接运行)

案例背景

正弦曲线是典型的非线性趋势数据,加入高斯噪声后更贴近现实场景(如传感器数据、气象数据、光照强度变化),普通线性回归无法拟合其非线性趋势,而LWR可通过局部拟合精准捕捉其变化规律。

案例目标

用LWR拟合带噪声的正弦曲线,验证LWR对局部非线性数据的拟合能力,同时观察平滑参数τ\tauτ对拟合效果的影响。

完整代码(优快云可直接复制,注释详细)

import numpy as np
import matplotlib.pyplot as plt
from sklearn.preprocessing import PolynomialFeatures

# 设置全局样式,适配优快云可视化
plt.rcParams['font.sans-serif'] = ['SimHei']  # 中文显示
plt.rcParams['axes.unicode_minus'] = False    # 负号显示
plt.rcParams['figure.figsize'] = (10, 6)
plt.rcParams['grid.alpha'] = 0.3

# 步骤1:定义权重矩阵计算函数(高斯核)
def get_weights(query_point, X, tau):
    """
    计算高斯核权重,构建对角权重矩阵
    :param query_point: 单个待预测点,维度(1, n)
    :param X: 训练集特征矩阵,维度(m, n)
    :param tau: 平滑参数/带宽
    :return: 对角权重矩阵W,维度(m, m)
    """
    m = X.shape[0]
    # 计算每个训练样本与预测点的欧氏距离平方
    dist_sq = np.sum((X - query_point) ** 2, axis=1)
    # 高斯核计算权重
    weights = np.exp(-dist_sq / (2 * tau ** 2))
    # 构建对角矩阵
    return np.diag(weights)

# 步骤2:定义局部加权回归主函数
def locally_weighted_regression(X, y, tau, query_points):
    """
    局部加权回归核心函数,对每个预测点单独拟合局部模型
    :param X: 训练集特征矩阵,维度(m, n)
    :param y: 训练集标签向量,维度(m,)
    :param tau: 平滑参数/带宽
    :param query_points: 待预测点集合,维度(k, n)
    :return: 所有预测点的预测值,维度(k,)
    """
    m, n = X.shape
    y_preds = []
    for q in query_points:
        # 1. 计算当前预测点的权重矩阵
        W = get_weights(q, X, tau)
        # 2. 计算X^T W X
        XTWX = X.T @ W @ X
        # 3. 求解局部参数θ:避免矩阵奇异,用伪逆
        if np.linalg.det(XTWX) < 1e-10:  # 行列式接近0,奇异
            theta = np.linalg.pinv(XTWX) @ X.T @ W @ y
        else:
            theta = np.linalg.inv(XTWX) @ X.T @ W @ y
        # 4. 计算当前预测点的预测值
        y_pred = q @ theta
        y_preds.append(y_pred)
    return np.array(y_preds)

# 步骤3:构造带噪声的正弦曲线数据
np.random.seed(0)  # 固定随机种子,结果可复现
X = np.linspace(0, 10, 100)  # 自变量:0~10,100个样本
y = np.sin(X) + 0.3 * np.random.randn(100)  # 因变量:正弦曲线+高斯噪声

# 步骤4:多项式特征扩展(可选,提升局部拟合能力,拟合局部曲线而非直线)
poly = PolynomialFeatures(degree=2, include_bias=False)  # 2阶多项式
X_poly = poly.fit_transform(X.reshape(-1, 1))  # 训练集特征扩展,维度(100,2)

# 步骤5:生成密集的待预测点(用于绘制平滑的拟合曲线)
query_points = np.linspace(0, 10, 300).reshape(-1, 1)  # 0~10,300个点
query_poly = poly.transform(query_points)  # 预测点特征扩展,维度(300,2)

# 步骤6:设置平滑参数,训练并预测(核心调参)
tau = 0.5  # 适中的tau,拟合效果最佳
y_preds = locally_weighted_regression(X_poly, y, tau, query_poly)

# 步骤7:可视化拟合结果
plt.scatter(X, y, color='red', label='训练数据(带噪声)', alpha=0.6, s=30)
plt.plot(query_points, y_preds, color='blue', linewidth=2.5, label='LWR拟合曲线')
plt.plot(query_points, np.sin(query_points), color='green', linestyle='--', linewidth=2, label='真实正弦曲线')
plt.title('局部加权回归(LWR)拟合带噪声的正弦曲线', fontsize=16)
plt.xlabel('X', fontsize=14)
plt.ylabel('y', fontsize=14)
plt.legend(fontsize=12)
plt.grid(True)
plt.show()

# 额外:可视化不同tau的拟合效果(对比学习)
def plot_different_tau(X, y, X_poly, query_poly, taus):
    plt.scatter(X, y, color='red', label='训练数据(带噪声)', alpha=0.6, s=20)
    colors = ['blue', 'orange', 'purple']
    for i, tau in enumerate(taus):
        y_preds = locally_weighted_regression(X_poly, y, tau, query_poly)
        plt.plot(query_points, y_preds, color=colors[i], linewidth=2, label=f'tau={tau}')
    plt.title('不同平滑参数tau的LWR拟合效果对比', fontsize=16)
    plt.xlabel('X', fontsize=14)
    plt.ylabel('y', fontsize=14)
    plt.legend(fontsize=12)
    plt.grid(True)
    plt.show()

# 测试tau=0.1(过小,过拟合)、tau=0.5(适中,最佳)、tau=5(过大,退化为线性)
plot_different_tau(X, y, X_poly, query_poly, taus=[0.1, 0.5, 5])

案例结果分析(本科/研究生重点理解)

  1. 核心拟合效果:当τ=0.5\tau=0.5τ=0.5时,LWR的蓝色拟合曲线几乎与绿色真实正弦曲线重合,精准捕捉了正弦曲线的非线性趋势,同时平滑了噪声,拟合效果远优于普通线性回归;
  2. tau=0.1(过小):局部范围极窄,模型过度拟合噪声,拟合曲线剧烈震荡,偏离真实趋势;
  3. tau=0.5(适中):拟合曲线平滑自然,既贴合局部非线性趋势,又有效抑制噪声,是最优解;
  4. tau=5(过大):局部范围极宽,考虑所有样本,拟合曲线退化为近似直线,与普通线性回归效果一致,无法拟合非线性趋势。

关键结论:平滑参数τ\tauτ是LWR的核心,需通过交叉验证选择适中的值,平衡拟合能力和过拟合风险。

五、局部加权回归的优缺点(本科/研究生必记)

LWR作为经典的非参数回归方法,优势和局限性都非常突出,适合在小样本、局部非线性、可解释性要求高的场景使用,以下整理为清晰表格,方便记忆:

优点

优点详细说明
极强的局部非线性拟合能力为每个预测点单独拟合局部模型,无需预设全局函数形式,自适应捕捉复杂的局部非线性趋势
对异常值鲁棒性高远离预测点的异常值权重接近0,几乎不影响预测结果,解决了全局回归被异常值拖偏的问题
模型可解释性强每个预测都有明确的局部参数θ\thetaθ,预测结果仅由附近数据决定,可清晰解释预测依据
无需离线训练无模型训练过程,直接使用原始训练数据预测,适合探索性数据分析
拟合效果灵活可调通过调整平滑参数τ\tauτ,可灵活控制模型的拟合能力,适配不同类型的数据

缺点

缺点详细说明
计算效率极低每个预测点都要重新计算权重矩阵、求解矩阵逆,时间复杂度高,无法处理大规模数据
属于懒惰学习,无模型文件无法离线训练得到固定模型,不能保存参数部署到实际系统,每次预测都需依赖原始训练数据
受维度灾难影响权重基于欧氏距离计算,高维空间中距离失去判别性,权重趋于一致,局部性完全失效
对平滑参数τ\tauτ高度敏感τ\tauτ的微小变化会导致拟合效果大幅波动,需大量调参(如交叉验证)才能找到最优值
内存消耗大预测时需加载全部训练数据,大规模数据下内存占用极高,易出现内存溢出

六、LWR与主流回归算法的对比(本科/研究生选型参考)

为了方便大家在实际场景中选择合适的回归算法,将LWR与本科/研究生阶段必学的线性回归、多项式回归、KNN回归、SVR、随机森林、神经网络从7个核心维度做对比,整理为表格,清晰直观,适配优快云显示:

算法模型类型是否全局模型非线性建模能力计算效率训练方式对异常值鲁棒性可解释性
局部加权回归(LWR)非参数、局部否🌟🌟🌟 极强(局部拟合)🌟 低(每次预测都拟合)无训练,预测时建模🌟🌟🌟 高(远异常值无影响)🌟🌟🌟 高
线性回归参数模型是🌟 弱(仅全局线性)🌟🌟🌟 极高一次训练,快速预测🌟 低(易被异常值拖偏)🌟🌟🌟 高
多项式回归参数模型是🌟🌟 中等(依赖阶数)🌟🌟 中等一次训练,快速预测🌟🌟 较低🌟🌟🌟 高
K近邻回归(KNN)非参数、懒惰否🌟🌟🌟 强(近邻平均)🌟🌟 中等(预测时找近邻)无训练,预测时找近邻🌟🌟 较强(可调整K)🌟🌟 中
支持向量回归(SVR)参数模型是🌟🌟🌟 强(核函数)🌟🌟 中等一次训练,快速预测🌟🌟🌟 高(对异常值不敏感)🌟 较低
随机森林回归集成、参数是🌟🌟🌟 强(树模型)🌟🌟 中等一次训练,快速预测🌟🌟🌟 高(集成抑制异常值)🌟 较低(可做特征重要性)
神经网络回归(MLP)参数模型是🌟🌟🌟 极强(深度网络)🌟~🌟🌟🌟 依规模而定大量训练,预测较快🌟~🌟🌟 中(易受异常值影响)🌟 低(黑箱模型)

七、LWR的适用场景与替代方案(本科/研究生必懂)

LWR的特性决定了它并非通用算法,而是针对特定场景的优化方案,需根据数据规模、维度、业务需求合理选择,以下是优先用LWR和优先用其他算法的场景划分:

优先选择局部加权回归(LWR)的场景

  1. 小/中等规模数据,计算资源充足:如科学实验、物理模拟、光谱分析等,样本数通常在千级以内,对拟合精度要求高,计算效率要求低;
  2. 数据具有复杂局部非线性趋势:如气象数据、医疗时间序列、传感器失真数据,全局规律不明显,但局部趋势清晰;
  3. 探索性数据分析,可解释性优先:如学术研究、数据规律挖掘,需要明确的预测依据,LWR的局部模型可清晰展示每个预测点的拟合规律;
  4. 异常值干扰大的场景:如工业监测数据、网络丢包数据,存在大量远离核心趋势的异常值,LWR可有效屏蔽远异常值的影响。

优先选择其他算法的替代场景

  1. 大规模数据(万级及以上):推荐随机森林、XGBoost、神经网络,这类算法一次训练即可快速预测,计算效率远高于LWR;
  2. 实时预测场景(低延迟要求):如电商推荐、自动驾驶、金融风控,推荐线性回归、SVR、轻量树模型,LWR的高计算延迟无法满足实时需求;
  3. 高维数据(特征数>20):如文本、图像、用户行为数据,推荐深度学习、核方法(SVR)、树模型,LWR受维度灾难影响,局部性失效;
  4. 需要模型部署的工程场景:如APP、嵌入式设备、云端服务,推荐线性回归、SVR、轻量化神经网络,LWR无固定模型参数,无法部署;
  5. 对调参效率要求高:推荐随机森林、XGBoost(超参数鲁棒性强),LWR对τ\tauτ高度敏感,调参成本高。

八、核心总结(本科/研究生必背考点)

  1. 局部加权回归(LWR)是非参数、懒惰学习的回归方法,核心思想是为每个预测点单独拟合局部线性模型,近数据高权重,远数据低权重;
  2. LWR的核心改进是加权代价函数,权重通过高斯核计算,唯一超参数τ\tauτ(平滑参数)控制局部范围,τ\tauτ适中时拟合效果最佳;
  3. LWR的参数θ\thetaθ通过加权最小二乘的正规方程求解,是预测点专属的局部参数,非全局唯一;
  4. LWR的核心优势是局部非线性拟合能力强、对异常值鲁棒、可解释性高,核心局限性是计算效率低、维度灾难、无模型部署能力;
  5. LWR适合小样本、局部非线性、可解释性优先的场景(如科学实验、探索性分析),不适合大规模、高维、实时、部署类场景;
  6. LWR与普通线性回归的本质区别:LWR是局部模型,每个预测点一个θ\thetaθ;线性回归是全局模型,所有预测点共用一个θ\thetaθ。
局部加权回归(Lowess)算法详解 局部加权回归(Lowess)的大致思路是:以一个点xxx为中心,向前后截取一段长度为fracfracfrac的数据,对于该段数据用权值函数www做一个加权的线性回归,记xyxy​为该回归线的中心值,其中y\hat{y}y​为拟合后曲线对应值。对于所有的nnn个数据点则可以做出nnn条加权回归线,每条回归线的中心值的连线则为这段数据的Lowess曲线。 阅读详情

相关推荐

Lowess局部加权回归算法的python、R语言实现

本文大部分理论参考该博客仅用于自己学习记录。

m0_69310669的博客 3229

【算法】局部加权回归(Lowess)

一、简介 1.1 预测问题 1.2 平滑问题 二、算法讲解 2.1 算法思想 2.2 参数讲解 2.3 权值函数 2.4 回归迭代 2.5 间隔回归,中间插值 2.6 其他参数 三、实验效果 3.1 效果 3.2 效率 3.3 效果对比 一、简介 1.1 预测问题 对于预测问题,回归中最简单的线性回归,是以线性的方法拟合出数据的趋势。但是对于有周期性,波动性的...

longgb123的博客 8万+

局部加权线性回归

局部加权回归(Locally Weighted Linear Regression,LWR)是一种非参数学习方法–在预测新样本值时候每次都会重新训练数据得到新的参数值,也就是说每次预测新样本都会依赖训练数据集合,所以每次得到的参数值是不确定的。

AI_BigData_WH的博客 2602

局部加权回归(Locally weighted linear regression)

通常情况下的线性拟合不能很好地预测所有的值,因为它容易导致欠拟合(under fitting),比如数据集是一个钟形的曲线。而多项式拟合能拟合所有数据,但是在预测新样本的时候又会变得很糟糕,因为它导致数据的过拟合(overfitting),不符合数据真实的模型。 今天来讲一种非参数学习方法,叫做局部加权回归(LWR)。为什么局部加权回归叫做非参数学习方法呢? 首先参数学习方法是这样一种方法:在训练

大坡3D软件开发 7691

局部加权线性回归算法的Python实现

LWR通过考虑样本点与目标点之间的距离,并给予距离较近的样本更高的权重来实现对目标点的预测。首先,我们需要定义一个核函数(Weighting function),该函数可以用于计算任意两个样本点之间的权重。该数据集包含了506个样本和13个特征,我们将自变量X设置为数据集中的每一个特征,因变量Y则设置为该区域的平均房价。最后,我们需要定义一个预测函数(Prediction Function),该函数可以根据我们的样本数据集和目标点计算出该目标点的预测值。局部加权线性回归算法的Python实现。

code_welike的博客 478

掌握局部加权回归:数据分析与预测的艺术

本篇博文深入探讨了局部加权回归算法的原理与应用,介绍了其作为非参数技术如何通过局部拟合来预测连续目标变量的值。通过对比不同平滑参数的影响,展示了该算法在数据分析与预测中的灵活性和强大能力。

weixin_36483050的博客 439

LWR 局部加权线性回归算法

http://blog.youkuaiyun.com/tianguokaka/article/details/14227187 分类: 统计学习方法2013-11-06 14:44 1649人阅读 评论(3) 收藏 举报 看了机器学习的第三课,实现了一下LWR算法。 [cpp] view plaincopy #include   using n

ShiZhixin的专栏 2396

DCN交换机通过boot模式升级

LIC导入成功后,输入enable进入特权模式,把网线接到通讯网口上,配置好对应interface vlan地址,在enable模式用 copy tftp://x.x.x.x/xxxxxx_nos.img nos.img待提示write ok时,reload设备完成升级。交换机启动后,在显示以下信息时输入“Ctrl+B”,一定得是手动按“Ctrl+B”进入的boot模式才能正常升级。升级交换机成功,在BootROM模式下,执行命令run或reboot,回到CLI配置界面。# 交换机通过boot模式升级。

m0_72501865的博客 948

机器学习的第三课,实现了一下LWR算法

看了机器学习的第三课,实现了一下LWR算法。 [cpp] view plaincopy #include   using namespace std;      const int Number = 6;   const int Dimesion = 3;   const float learningRate=0.001;        co

tianchang2you的专栏 1481

从工艺文件到寄生分析:手把手教你用华大九天RCExplorer做版图预检(附ITF文件解析)

本文详细介绍了华大九天RCExplorer工具在模拟IC和版图设计中的应用,从工艺文件解析到寄生参数提取的全流程。通过ITF文件的深度解析和实战案例,帮助工程师掌握金属层、介质层及通孔参数的关键影响,提升设计效率与准确性。文章还提供了与StarRC工作流集成的实用技巧,是国产EDA工具应用的权威指南。

weixin_42522552的博客 408

用Python写个彩票小助手:自动生成双色球/大乐透号码并保存到桌面

本文介绍如何使用Python开发一个智能彩票助手,实现双色球和大乐透号码的随机生成与桌面文件保存功能。通过详细的代码示例,包括随机号码生成、文件操作、用户交互和错误处理,帮助Python初学者快速掌握实用工具开发技巧。

weixin_42566121的博客 525

局部加权回归(LWR)原理与Python实现详解

局部加权回归(LWR)是一种重要的非参数回归技术,通过为不同数据点分配动态权重实现局部拟合。其核心原理是利用核函数计算样本权重,在预测点邻域内建立回归模型,相比普通线性回归能更好地捕捉非线性关系。这种技术在时间序列预测、传感器校准和经济学研究等领域具有广泛应用价值。Python实现中需特别注意带宽参数τ的选择,它直接影响模型平滑度与过拟合风险。优化方面可采用KD-tree加速计算,处理大数据时建议使用随机采样或GPU加速。典型应用场景包括电力负荷预测、工业传感器温度补偿等,能显著提升非线性数据的建模精度。

weixin_30299709的博客 419

Proteus+汇编+8086电子时钟实战:从框架搭建到中断驱动的核心实现

本文详细介绍了使用Proteus仿真软件和8086汇编语言实现电子时钟的完整过程。从程序框架搭建、内存分段模型理解,到核心的8259中断控制器配置与编程,再到中断服务程序编写和数码管动态扫描显示驱动,系统阐述了底层软硬件协同开发的核心原理与实战步骤。该项目是深入理解计算机中断机制和汇编语言编程的绝佳实践。

weixin_29189381的博客 414

【机器学习】机器学习(三):局部加权线性回归算法、Logistic回归算法

STANFORD机器学习课程(Andrew Ng主讲),第3课学习笔记。在本节中,介绍局部加权线性回归算法(Loess/LWR)和Logistic回归算法。

hujingshuang 1万+

【AI智能体】基于Coze制作跨境电商客服助手工作流实战操作详解

基于Coze制作跨境电商客服助手工作流实战操作详解

congge 3468

RK3588平台开发系列讲解(USB篇)UAC初识

📢本篇将介绍RK3588平台`UAC`的配置使用。

内核笔记 3887

局部加权线性回归(Locally weighted linear regression)

由拟合问题,突出特征选择的重要性。局部权重线性回归在数据充足的情况下,可缓解特征选择问题。而后详述特征选择的步骤和相关参数。

y小川的专栏 4270

2025年广东省职业院校技能大赛高职组“区块链技术应用”正式赛题解析答案(标准答案参阅)

某公司规划开发一个区块链供应链金融平台,包括核心企业、供应商、银行等角色,通过智能合约代码逐步构建区块链供应链金融平台的基本功能,实现银行向核心企业提供授信并发行数字凭证,企业与企业之间转让数字凭证。此外需要完成区块链供应链金融平台的前后端,实现基本的业务逻辑

我是网络安全兼技能大赛工程师,专注网络安全技术学习与技能大赛实战!持续分享最新的技术文章,帮你少走弯路,一起在技术赛道上进步~ 1273

机器学习与算法(8)--局部加权学习算法(LWR)

                                             局部加权学习算法(LWR)      局部加权回归(LWR)是非参数学习方法。 首先参数学习方法是这样一种方法:在训练完成所有数据后得到一系列训练参数,然后根据训练参数来预测新样本的值,这时不再依赖之前的训练数据了,参数值是确定的。而非参数学习方法是这样一种算法:在预测新样本值时候每次都会重新训练数据得到新...

mensyne的博客 2556

【全志V821_FoxPi】6-2 IMX219 MIPI摄像头适配

全志V821芯片适配IMX219 MIPI摄像头(2lane)教程,基于FoxPi开发板V1.2 SDK。文章详细介绍了IMX219的技术参数(800万像素、1/4英寸CMOS、支持1080P@30fps输出)及模组接口原理图。重点展示了设备树配置方法,包括PIO引脚定义(TWI0使用PA3/PA4,复位引脚PA2)、TWI0节点设置(100kHz时钟)以及VIND0节点中sensor0的完整配置(I2C地址0x20、MCLK0、RAW格式输出等)。配置过程强调需注意IMX219的器件地址转换(0x10→0

第四维度的博客 2255

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

机器学习(课程笔记3)——局部加权回归;概率推导最小二乘的合理性;二分类模型;求最大似然函数的参数牛顿方法;感知器...

一.拟合非线性样本——局部加权线性回归(LWR)   第二讲线性回归中假设函数(hypothsis function)hθ(x)=θTX是线性函数。对非线性样本不能很好的拟合。所以,使用局部加权回归来拟合非线性样本。     图一的拟合函数为,图二为,图三为。为了方便在二维坐标下表示,特征只有一种即房子的面积(只是对面积取不同的次幂)。从拟合的结果看,称图一是欠拟合(under fitting...

weixin_30791095的博客 506

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

1.9 程序示例--局部加权线性回归-机器学习笔记-斯坦福吴恩达教授

程序示例–局部加权线性回归 现在,我们在回归中又添加了 JLwr() 方法用于计算预测代价,以及 lwr() 方法用于完成局部加权线性回归: # coding: utf-8 # linear_regression/regression.py # ... def JLwr(theta, X, y, x, c): """局部加权线性回归的代价函数计算式 Args: ...

赵继超的笔记 655

最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版

Part-E1-SDIO-Specification-Ver4.00-Final-120220.pdf:最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版,包括SDIO 接口的外设,SDIO 接口官方协议等。

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

第二章 第九节 线性回归(程序示例--局部加权线性回归)

程序示例--局部加权线性回归 现在,我们在回归中又添加了 JLwr() 方法用于计算预测代价,以及 lwr() 方法用于完成局部加权线性回归: # coding: utf-8 # linear_regression/regression.py # ... def JLwr(theta, X, y, x, c): """局部加权线性回归的代价函数计算式 Args: ...

LW_ICE 477

python:局部线性回归实现

import numpy as np import pandas as pd from sklearn.metrics.pairwise import rbf_kernel import matplotlib.pyplot as plt from sklearn.model_selection import train_test_split class LWR(object): def __init__(self,X=None,y=None,gamma=1000,epsilon=1.e-3)...

DeniuHe的博客 578

【机器学习笔记】二、 Regression回归

一、基础 这里面,输入变量x有两个,一个是居住面积(living area),一个是房间数目(bedrooms)。 所以x 是一个二维向量。表示第i组数据中的居住面积(living area)。表示第i组数据中的房间数目。 我们假设输入和输出呈线性关系,那么便有下面的公式。 其中,叫做parameters(参数),也叫做weight(权重)。以上的公式还可以简写成 其中右

artemisrj的专栏 2626
上一篇: 【回归算法】广义线性模型(GLM)详解
下一篇: 【回归算法】决策树回归超详细讲解
「已注销」
博客等级 码龄1年 312粉丝 132原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

「已注销」

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值