线性回归linear regression

最新推荐文章于 2025-08-01 11:58:02 发布
原创 最新推荐文章于 2025-08-01 11:58:02 发布 · 246 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文详细探讨了线性回归中的均方误差作为损失函数，并介绍了使用梯度下降法及正规方程法求解参数θθθ的方法。进一步讨论了解决非线性问题的三种策略：多项式回归、核函数（在L2L_2L2正则化条件下）和局部加权线性回归。文章还提到了独立同分布假设下εivarepsilon_iεi​的高斯分布特性，以及特征归一化对梯度下降法的重要性。

  1. 损失函数：均方误差

  2. 使用梯度下降法求解 θ \theta θ

  3. 正规方程法 θ = ( X T X ) − 1 X T Y \theta = (X^TX)^{-1}X^TY θ=(XTX)−1XTY，没有正则化项

  4. 如何解决非线性的问题
    方法1：推广到多项式回归
    方法2：核函数，前提是ridge回归，即加了 L 2 L_2 L2​正则化
    表示定理：凡是进行 L 2 L_2 L2​正则化的线性问题都可以使用核函数的技巧。但是！！！通常不采用这个方法，因为每个样本点都必须参与核计算，这带来的计算复杂度是相当高的。！！！！！并不像SVM一样具有稀疏解！！！
    方法3：局部加权线性回归

  5. 通过极大化对数似然可以推导出最小二乘
    独立同分布假设， ε i \varepsilon_i εi​服从均值为0，方差为 σ 2 \sigma^2 σ2的高斯分布。

扩展：如果机器学习模型使用梯度下降法求最优解时，归一化往往非常有必要，否则很难收敛甚至不能收敛

[1] 表示定理的证明
https://blog.youkuaiyun.com/qq_34993631/article/details/79345889
[2] 局部加权线性回归
https://www.cnblogs.com/czdbest/p/5767138.html

https://blog.youkuaiyun.com/wyl1813240346/article/details/78562654
[3] 特征归一化
https://www.zhihu.com/question/274640730/answer/376781767

Pytorch实现线性回归Linear Regression
sweet_Mary的博客
08-01 1167
Batch Gradient Descent：使用整个训练集来更新模型的参数。学习率过低，需要大量的迭代才能获得最小值。对于线性回归，特定类型的噪声是高斯噪声。创建自定义模块（内含一个线性回归）用PyTorch实现线性回归模块。学习率过高，可能错过参数的最佳值。与上文类似，只是多加了个b。
用人话讲明白线性回归LinearRegression
热门推荐
化简可得
07-09 1万+
目录 什么是回归 一元线性回归 损失函数 最小二乘估计 小结 1. 什么是回归 当我们学习一门新课程、接触一个新专业时，总会对该领域的专有名词感到困惑，甚至看完解释仍难以理解其含义。在我们一起学习machine learning的过程中，我会尽量对相关名词用“人话”做一遍解释，以减少学习的“痛苦感”。 譬如今天要学的线性“回归”，这个回归（regression）和我们平时说的“回归祖国”的回...
线性回归 Linear Regression
JasonH2021的博客
05-27 3209
线性回归的基本概念，优缺点，应用场景，构建模型时的注意事项和可以应用的类库
多元线性回归LinearRegression
weixin_60200880的博客
11-17 1万+
线性回归是机器学习中最简单的回归算法，多元线性回归指的就是一个样本有多个特征的线性回归问题。对于一个有个特征的样本而言，它的回归结果如下方程：在这个表达式中，被统称为模型的参数，其中被称为截距(intercept)，~被称为回归系数(regression coefficient)，有时也用表示。其中是目标变量，~是样本上的不同特征。如果考虑有m个样本，是包含了m个全部样本的回归结果列向量，我们可以使用矩阵来表示这个方程，其中可以被看做是一个结构为(1,n)的列矩阵，
机器学习的起点：线性回归Linear Regression
AOIWB的博客
02-27 2652
保姆级线性回归教程：从数学原理到Scikit-Learn实战，15分钟掌握机器学习基石算法 ✅ ​5大核心原理透彻解读：截距/斜率/误差项/R²指标全透析 ✅ ​3大经典场景代码实战：单变量预测、多变量分析、房价预测完整案例 ✅ ​3大缺陷及解决方案：非线性关系处理（多项式回归）、异常值抵抗（Huber回归）、共线性克星（岭回归） ✅ ​完整代码+可视化结果：一键运行代码+直观图表，小白也能秒懂 ✅ ​隐藏技巧：用特征系数反向推导业务逻辑，让你的模型会说话！
Linear Regression｜线性回归
最新发布
m0_74462934的博客
08-01 1100
本文介绍了线性回归的基本概念及其在机器学习中的应用。线性回归通过拟合最佳直线描述变量间关系，用于预测分析。文章通过房屋价格预测等实例，详细讲解了假设函数、误差计算等核心概念，并提供了Python代码实现一元和多元线性回归的完整流程，包括数据准备、模型训练、评估和可视化。代码示例展示了如何使用scikit-learn库构建回归模型，并进行预测。完整内容可访问作者博客网站rn.berlinlian.cn获取更多计算机相关知识。
线性回归LinearRegression
邱邱邱的博客
08-16 960
对视频中线性回归算法的相关内容进行总结与记录 文章目录一、理论基础二、实例2.1 一元线性回归2.1.1 推导过程2.1.2 代码实现（基于numpy）2.1.3 代码实现（基于sklearn）2.2 多元线性回归2.2.1 代码实现（基于numpy）2.2.2 代码实现（基于sklearn） 一、理论基础 回归 通常是指利用某个函数，尽可能把数据样本点“串”在一起，用于描述输入变量和输出变量间的变化关系 线性回归 特点：用来把数据“串”起来的那个函数是线性的 （一元线性回归（一个自变量） &a.
scikit-learn 线性回归 LinearRegression 参数详解
qq_39594033的博客
01-08 1万+
scikit-learn 线性回归 LinearRegression 参数详解
机器学习 | 线性回归（Linear Regression）
weixin_63292027的博客
12-23 1845
sklearn中的线性模型模块是linear_model，在这一篇文章中，主要介绍的是普通线性回归LinearRegression，介绍了简单的案例，以及分析了MSE、R2、EVS等评估指标。
Linear Regression 线性回归
Aroundchange
03-22 7545
Linear Regression
基于python实现线性回归LinearRegression
06-13
在Python中，我们可以使用多种库来实现线性回归，其中最常用的是`sklearn`库中的`LinearRegression`类。这篇教程将深入探讨如何使用Python的`sklearn`库来实现线性回归模型。 首先，我们需要导入必要的库，包括`...
JAVA实现的一元线性回归 LINEAR REGRESSION
12-09
在IT领域，一元线性回归是一种广泛应用的统计分析方法，尤其在数据分析和机器学习中。这个主题的焦点是使用Java编程语言来实现这一概念。一元线性回归旨在找到一条直线，即回归线，最好地拟合一组给定的二维数据点。...
随机森林用于特征选择
YQMind的博客
12-22 5659
随机森林可以计算单个特征变量的重要性。 计算特征X的重要性的方法： 对RF中的每一棵决策树，计算出OOB数据的误差，记作errOOB1errOOB1errOOB1 对所有OOB数据里的特征X加入噪声，然后计算OOB数据的误差，记作errOOB2errOOB2errOOB2 RF有N棵树，则特征X的重要性为∑i(errOOB2i−errOOB1i)/N\sum_i (errOOB2_i-errOO...
为什么分类问题使用交叉熵损失函数？
YQMind的博客
04-17 4144
待整理… [1] http://www.cnblogs.com/aijianiula/p/9460842.html [2] https://blog.youkuaiyun.com/yangyang688/article/details/82667273
高斯混合模型(GMM--Gaussian mixture model)
YQMind的博客
12-21 4030
参考：李航《统计学习方法》 http://blog.youkuaiyun.com/xmu_jupiter/article/details/50889023 https://www.cnblogs.com/mindpuzzle/archive/2013/04/24/3036447.html **GMM是用来做非监督学习的聚类的。下图可以直观知道什么是聚类： 一、GMM模型定义** GMM应用广泛，在许多
LR模型(logistic regression)
YQMind的博客
12-07 2783
分类模型 本质上是线性回归模型 优化目标 J(θ)=∑−yilog(h(θTxi))−(1−yi)log(1−h(θTxi))J(\theta) = \sum -y_ilog(h(\theta^Tx_i))-(1-y_i)log(1-h(\theta^Tx_i))J(θ)=∑−yi​log(h(θTxi​))−(1−yi​)log(1−h(θTxi​)),最小化 其中h(θTx)=11+e−θ...
归一化与标准化
YQMind的博客
12-04 2616
对数据进行特征归一化有两点原因： 对于使用梯度下降法求最优解的机器学习模型，归一化往往非常有必要，否则很难收敛甚至不能收敛 对特征范围敏感的模型，需要进行归一化，以免范围大的特征主导输出结果 常用的归一化方法： min-max归一化 z-score标准化 SVM,KNN,线性回归等对特征尺度敏感，需要归一化 决策树不需要归一化 使用梯度下降求解的算法需要归一化 [1] http://www...
CRF以及BiLSTM+CRF
YQMind的博客
11-21 2213
tensorflow-- bilstm+crf代码简析 https://blog.youkuaiyun.com/guolindonggld/article/details/79044574 对crf原理的细致解析 https://createmomo.github.io/2017/11/11/CRF-Layer-on-the-Top-of-BiLSTM-5/ http://www.cnblogs.com/ba...
支持向量机(SVM)第三章---软间隔
YQMind的博客
08-02 1570
参考周老师《机器学习》 在前面两章里，我们都是假设样本在原始空间或者高维空间里线性可分，并且我们提到核函数的选择成为SVM的关键。即使我们找到了合适的核函数，也难断定是否是因过拟合造成的。 引入软间隔，允许一些样本不满足约束条件。在前面两章所介绍的都是硬间隔，即所有样本都必须满足约束条件。 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值