Python【线性回归】

python机器学习-线性回归(LinearRegression)算法 用python进行线性回归分析非常方便,如果看代码长度你会发现真的太简单。但是要灵活运用就需要很清楚的知道线性回归原理及应用场景。现在我来总结一下用python来做线性回归的思路及原理。 线性回归应用场景 线性回归介绍 机器学习中的线性回归 简单的线性回顾实例 线性回归应用场景 线性回归介绍 ——线性回归是利用数理统计中回归分析,来确定两种或两种以上变量间相互依赖的定量关系... 阅读详情

白手写一个

f ( x ) = w x + b f(x) = w x + b f(x)=wx+b
l o s s = ( y − ( w x + b ) ) 2 loss =(y - (w x + b))^2 loss=(y−(wx+b))2
∂ l o s s ∂ w = 2 x ( w x + b − y ) \frac{\partial loss}{\partial w} = 2x(w x + b - y) ∂w∂loss​=2x(wx+b−y)
∂ l o s s ∂ b = 2 ( w x + b − y ) \frac{\partial loss}{\partial b} = 2(w x + b - y) ∂b∂loss​=2(wx+b−y)

from sklearn.datasets import make_regression
import numpy as np, matplotlib.pyplot as mp

"""创建数据"""
bias = 10.
X, Y, coef = make_regression(n_features=1, noise=9, bias=bias, coef=True)
X = X.reshape(-1)

"""损失值"""
loss = lambda w, b: np.mean([(y - (w * x + b)) ** 2 for x, y in zip(X, Y)])

"""梯度下降"""
def gradient_descent(w, b, lr):
    for x, y in zip(X, Y):
        w -= lr * (((w * x) + b) - y) * x
        b -= lr * (((w * x) + b) - y)
    return w, b

"""运行"""
w, b = .0, .0
for i in range(150, 160):
    print('step%d loss:' % i, loss(w, b))
    w, b = gradient_descent(w, b, 1 / i)  # 渐减的学习率
print(coef, bias, '|', w, b, '|', loss(w, b))

"""可视化"""
mp.scatter(X, Y, c='g', alpha=.3)
mp.plot(X, w * X + b)
mp.show()

调包实现

numpy实现

import numpy as np
# 创建数据
x = [0, 1, 2, 3, 4]
y = [1, 3, 5, 7, 9]
# 斜率、截距
kb = np.polyfit(x, y, 1)
print('y = {:.0f}x + {:.0f}'.format(kb[0], kb[1]))

y = 2x + 1

sklearn实现

import requests, re, numpy as np, matplotlib.pyplot as mp
from mpl_toolkits import mplot3d  # 绘制3d图
from sklearn.linear_model import LinearRegression

# 从网络下载数据
def load_data():
    url = 'https://blog.youkuaiyun.com/Yellow_python/article/details/81224614'
    header = {'User-Agent': 'Opera/8.0 (Windows NT 5.1; U; en)'}
    r = requests.get(url, headers=header)
    data = re.findall('<pre><code>([\s\S]+?)</code></pre>', r.text)[0].strip()
    ndarray = np.array([i.split(',') for i in data.split()]).astype('float')
    return ndarray[:, :2], ndarray[:, -1:]
X, y = load_data()

# 建模、拟合
model = LinearRegression().fit(X, y)
# 系数、截距
k, b = model.coef_[0], model.intercept_[0]

# 可视化
ax = mplot3d.Axes3D(mp.figure())  # 获取三维坐标轴
x1, x2 = X[:, 0], X[:, 1]
ax.scatter(x1, x2, y, s=150)  # 散点图
# 拟合平面
X_predict = np.array([[x1.min(), x2.min()], [x1.min(), x2.max()], [x1.max(), x2.min()]])
X_predict = np.meshgrid(X_predict[:, 0], X_predict[:, 1])
y_predict = X_predict[0] * k[0] + X_predict[1] * k[1] + b
ax.plot_surface(X_predict[0], X_predict[1], y_predict, alpha=0.1, color='red')
mp.show()

TensorFlow实现

https://blog.youkuaiyun.com/Yellow_python/article/details/89108961#_20

正则化(Regularization)

  • L1正则化:
    权值向量w中各个元素的绝对值之和( ∑ w ∣ w ∣ \sum_w |w| ∑w​∣w∣)

  • L2正则化:
    权值向量w中各个元素的平方和( ∑ w w 2 \sum_w w^2 ∑w​w2)

  • L1正则化和L2正则化可看做是损失函数的【惩罚项】,可使待估参数的偏差变大、方差变小,从而防止过拟合。

Lasso

Least Absolute Shrinkage and Selection Operator
引入L1正则化惩罚,可使某些待估系数收缩到0,比L2更易获得“稀疏解”

Ridge Regression

岭回归
引入L2正则化惩罚,降低过拟合风险

Elastic Net

同时引入L1和L2正则化惩罚

RANSAC

根据一组包含异常数据的样本数据集,计算出数据的数学模型参数,得到有效样本数据。

import numpy as np, matplotlib.pyplot as mp
from sklearn import linear_model, datasets
np.random.seed(1)

"""创建随机样本"""
X, y, coef = datasets.make_regression(n_features=1, noise=9, coef=True)
# 增加异常数据
n_outliers = 5  # 异常值的数量
X[:n_outliers] = 3 + 0.5 * np.random.normal(size=(n_outliers, 1))
y[:n_outliers] = -3 + 10 * np.random.normal(size=n_outliers)

"""建模、拟合"""
# 线性回归
lr = linear_model.LinearRegression().fit(X, y)
# RANSAC(RANdom SAmple Consensus)
ransac = linear_model.RANSACRegressor()
ransac.fit(X, y)
inlier_mask = ransac.inlier_mask_
outlier_mask = np.logical_not(inlier_mask)

"""预测"""
line_X = np.arange(X.min(), X.max())[:, np.newaxis]
line_y = lr.predict(line_X)
line_y_ransac = ransac.predict(line_X)
# 回归系数的比较
print("Estimated coefficients (true, linear regression, RANSAC):")
print(coef, lr.coef_, ransac.estimator_.coef_)

"""可视化"""
mp.scatter(X[inlier_mask], y[inlier_mask], s=9, color='g', label='Inliers')
mp.scatter(X[outlier_mask], y[outlier_mask], s=9, color='y', label='Outliers')
mp.plot(line_X, line_y, color='y', label='Linear regressor')
mp.plot(line_X, line_y_ransac, label='RANSAC regressor')
mp.legend(loc='lower right')
mp.show()

系数更新动态图

from sklearn.datasets import make_regression
import matplotlib.pyplot as mp

"""创建数据"""
X, Y = make_regression(n_features=1, noise=9)
X = X.reshape(-1)

"""参数更新"""
def gradient_descent(w, b, lr):
    for x, y in zip(X, Y):
        w -= lr * (((w * x) + b) - y) * x
        b -= lr * (((w * x) + b) - y)
    return w, b

"""运行过程可视化"""
fig, ax = mp.subplots()
w, b = .0, .0
for i in range(900, 960):
    w, b = gradient_descent(w, b, 1 / i)  # 先大后小的学习率
    ax.cla()  # 清除
    mp.scatter(X, Y, c='g', alpha=.3)  # 散点图
    ax.plot(X, w * X + b)  # 折线图
    mp.pause(1e-9)  # 限时展示

附录

注释

encn
coefficient系数;折算率
intercept拦截;截距
surface表面(的)
session会议;(法庭的)开庭;会话(计算机科学)
optimizer优化程序
outlier异常值;局外人
inlier内围层
shrinkagen. 收缩
sparse稀疏

数据源

1,1,3.29
2,1,4.03
3,1,5.12
4,1,6.09
5,1,11.50
6,1,13.74
7,1,10.88
8,1,10.85
9,1,11.24
10,1,13.37
1,2,13.43
2,2,6.68
3,2,14.55
4,2,14.33
5,2,12.97
6,2,14.12
7,2,12.48
8,2,12.08
9,2,19.16
10,2,15.11
1,3,8.23
2,3,8.22
3,3,9.68
4,3,11.33
5,3,13.93
6,3,14.05
7,3,13.34
8,3,17.64
9,3,22.11
10,3,16.00
1,4,15.08
2,4,16.95
3,4,11.46
4,4,13.69
5,4,14.43
6,4,18.91
7,4,17.64
8,4,17.11
9,4,17.15
10,4,22.94
1,5,11.39
2,5,13.58
3,5,22.40
4,5,14.18
5,5,19.62
6,5,23.35
7,5,21.42
8,5,18.73
9,5,20.04
10,5,20.07
1,6,14.77
2,6,22.42
3,6,16.63
4,6,17.98
5,6,20.95
6,6,20.53
7,6,22.16
8,6,22.19
9,6,25.10
10,6,23.90
1,7,15.43
2,7,16.10
3,7,23.87
4,7,23.38
5,7,27.56
6,7,24.89
7,7,26.38
8,7,28.94
9,7,23.83
10,7,31.77
1,8,26.67
2,8,25.21
3,8,19.63
4,8,20.75
5,8,23.24
6,8,26.34
7,8,23.44
8,8,26.45
9,8,29.54
10,8,30.71
1,9,21.37
2,9,25.12
3,9,21.68
4,9,22.28
5,9,24.68
6,9,25.91
7,9,26.09
8,9,30.43
9,9,36.57
10,9,28.16
1,10,21.95
2,10,26.82
3,10,30.76
4,10,25.43
5,10,29.23
6,10,28.23
7,10,27.10
8,10,36.81
9,10,36.86
10,10,33.03
【Python】sklearn LinearRegression 一元线性回归预测并得出回归方程 用 python 的 sklearn LinearRegression 进行一元线性回归预测并得出回归方程。 阅读详情

相关推荐

Python—线性回归

目录 1.简单线性回归模型2.多元线性回归模型2.1 应用F检验法完成模型的显著性检验2.2应用t检验法完成回归系数的显著性检验 3.基于回归模型识别异常点4.含有离散变量的回归模型 前言: 线性回归模型属于经典的统计学模型,该模型的应用场景是根据已知的变量(即自变量)来预测某个连续的数值变量(即因变量)。例如餐厅根据媒体的营业数据(包括菜谱价格、就餐人数、预订人数、特价菜折扣等)预测就餐规模或营业额;网站根据访问的历史数据(包括新用户的注册量、老用户的活跃度、网站内容的更新频率等)预测用户的支

平平淡淡,戒急用忍,一生学闭嘴。 3万+

Python机器学习库sklearn几种回归算法建模及分析(实验)

最简单的回归模型就是线性回归 数据导入与可视化分析 from IPython.display import Image %matplotlib inline # Added version check for recent scikit-learn 0.18 checks from distutils.version import LooseVersion as Version f

公众号:瑞行AI 5万+

python-使用LinearRegression进行简单线性拟合(线性回归)

一元线性拟合 现有两组数据,求y=a*x+c的系数 X =[12.46, 0.25, 5.22, 11.3, 6.81, 4.59, 0.66, 14.53, 15.49, 14.43, 2.19, 1.35, 10.02, 12.93, 5.93, 2.92, 12.81, 4.88, 13.11, 5.8] Y =[29.01, 4.7, 22.33, 24.99, 18.85, 14.89, 10.58, 36.84, 42.36, 39.73, 11.92, 7.45, 22.

lanhezhong的博客 3万+

Numpy基础知识(摘录笔记)

Nump基础(部分知识) 导入numpy包 import numpy as np import numpy as np data = np.arange(12).reshape(3,4) data array([[ 0, 1, 2, 3], [ 4, 5, 6, 7], [ 8, 9, 10, 11]]) type(data) numpy.ndarray data.ndim 2 data.shape (3, 4) data.size 12 数组元素的类型,输出结

Cyyxbdmrrc的博客 1204

【Python机器学习】零基础掌握RANSACRegressor鲁棒性回归器

RANSAC算法有效地解决了数据异常对模型准确性的影响问题。在房价预测这一实际应用场景中,算法成功地识别并剔除了异常数据点,进而提高了模型的准确性。数据可视化进一步证实了这一点。优点总结,RANSAC算法在处理带有异常值的数据集方面具有明显优势,这使得模型更加稳健和准确。优点名称描述说明异常值处理能力强能有效识别并剔除数据集中的异常值模型稳健性好对噪声和异常值具有很强的鲁棒性应用领域广泛在机器视觉、数据挖掘、计算机图形学等多个领域都有应用。

Mr数据杨 561

告别臃肿VS!仅用Visual Studio 2022 Build Tools为Qt 5.12.12配置MSVC2017开发环境

本文详细介绍了如何仅使用Visual Studio 2022 Build Tools为Qt 5.12.12配置MSVC2017开发环境,避免安装臃肿的完整VS。通过精准选择组件、配置Qt Creator编译器和优化Kit设置,实现高效、精简的Windows平台Qt开发环境搭建,特别适合追求性能和资源优化的开发者。

weixin_30340617的博客 352

深度学习_一元线性回归实例_python实现 VS numpy实现 VS tensorflow数据可视化

一元线性回归 一:机器学习基础 1.什么是机器学习? 从数据中学习 建立模型 学习模型 预测房价 2.机器学习分类 监督学习 (Supervised Learning) 通过对数据的学习,寻找属性和标记之间的映射关系 回归(regression): 预测连续值 分类(classification): 预测离散值 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Z06hV7G8-1597290367937)(attachment:image.png)] 无监督学习 (Un

Climb_Ma的博客 1035

成分数据的闭合效应对地球化学数据的影响及其解决方案

封闭效应 (Closure Effect),也称为常数和效应 (Constant Sum Effect),是地球化学数据分析中一个需要特别注意的统计现象。它的产生是由于我们通常使用成分数据 (Compositional Data)百分比 (%)百万分率 (ppm)由于这些数据表示的是各组分占总体的比例,它们的总和必然是一个常数 (例如 100% 或 1,000,000 ppm)。这意味着每个元素的含量不是独立的,而是与其他元素的含量相互制约。改变其中一个元素的含量必然会影响其他元素的相对比例。

qq_59349063的博客 1539

python代码实现线性回归

python代码实现线性回归

weixin_40623018的博客 2091

Spec-Kit实战:用‘规范驱动开发’重构一个老旧Node.js项目(避坑指南)

本文详细介绍了如何使用Spec-Kit工具通过‘规范驱动开发’(SDD)重构老旧Node.js项目。从逆向工程提取规范到增量改造策略,再到避免典型陷阱,提供了实战指南和避坑技巧,帮助开发者高效实现架构现代化,显著提升代码质量和维护效率。

weixin_42525582的博客 555

基于FPGA的车道线检测系统设计

本文设计了一种基于FPGA的车道线检测系统,采用Altera Cyclone IV EP4CE10F17C8作为主控芯片,结合OV7725摄像头和LCD显示屏实现实时车道线检测。系统通过硬件流水线处理架构,依次完成图像采集、灰度转换、中值滤波、Sobel边缘检测和Hough变换直线识别等功能模块。所有模块均采用Verilog HDL实现,充分利用FPGA的并行处理能力,显著提升了系统响应速度。测试结果表明,该系统能够有效检测道路车道线,满足实时性要求,为ADAS系统提供了一种高效的硬件解决方案。

huanghm88的专栏 126

python LinearRegression线性回归

两个变量之间存在一次方函数关系,就称它们之间存在线性关系。更通俗一点讲,如果把这两个变量分别作为点的横坐标与纵坐标,其图象是平面上的一条直线,则这两个变量之间的关系就是线性关系。

zj88189748的专栏 2157

RT-DETR改进前必看 - Ultralytics调参 1:1还原RT-DETR官方版本实验环境,更方便改进

的项目文件中集成了YOLOv3v5v6v8v9v10rt-detr11以及其中不同大小的模型结构,更方便我们学习和使用。的参数配置在路径下,其中中设置了模型在训练Train验证Val/Test预测Predict可视化Visualize导出Export超参数Hyperparameters、以及跟踪Tracker的相关参数。在调参过程中主要涉及训练Train和超参数Hyperparameters。下面主要介绍一下初始超参数Hyperparameters。

Limiiiing的博客 7972

python中的linearregression_【python+机器学习(2)】python实现Linear Regression

欢迎关注哈希大数据微信公众号【哈希大数据】python实现多元线性回归算法(lr)想必大家在很早之前就接触过函数的概念,即寻找自变量和因变量之间的对应关系,一元一次、多元一次、一元二次等等,表示的就是变量间具有线性、非线性,相关关系或无关关系等。同样的在机器学习中,一个重要而且很常见的问题就是学习特征变量(自变量)与响应变量(因变量)之间的函数关系,进而对新出现的变量进行结果预测。这种寻找连续变量...

weixin_39972567的博客 1123

EMB电子机械制动系统和EHB电子液压制动系统控制功能的对比

EMB电子机械制动系统相比EHB液压制动系统具有显著优势:响应速度更快(<100ms)、控制精度更高(±2N·m)、能实现单轮独立控制,支持0.1%级制动力调节。在ABS、ESC等安全功能上表现更优,制动平顺性和NVH性能更好,同时提升能量回收效率15%-20%。特别适合智能驾驶需求,可使AEB等系统响应时间缩短50ms,紧急制动距离减少1米以上。EMB系统完美契合高阶自动驾驶对快速响应和精准控制的要求。

m0_59012156的博客 890

车载以太网-组播

车载以太网-组播

天赐好车的博客 254

【Python3】 Linear Regression,线性回归

线性回归是一种用于建立因变量(目标变量)与一个或多个自变量(特征变量)之间线性关系的统计方法。

言之。 1万+

Y-Branch and a closed y-branch loop

双臂后面的区域,我们将它的双臂使用一个波导进行了连接,使得它本身形成了一个闭合回路,因此,该结构被称作。它们均是用来对经过它们的光束能量进行分割的一种器件。首先,我们知道一点,在光波导层面,今天给大家介绍一下,什么是。

u011699626的博客 632

LinearRegression线性回归Python实现

本文回归模型用的数据是吴恩达机器学习中对应数据,本文用了2中方式实现:1.自己定义函数实现回归模型;2.sklearn第三方模块实现 1.自定义实现代码 “”" 自定义方法 “”" import numpy as np class ReadData: def init(self): self.data = [] def read_data(self,path): with open(path) a...

weixin_43207115的博客 413

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版

Part-E1-SDIO-Specification-Ver4.00-Final-120220.pdf:最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版,包括SDIO 接口的外设,SDIO 接口官方协议等。

python中的linearregression_线性回归( Linear Regression)的Python源码的实现

1. 前言本文主要讲解线性回归的代码的实现,想了解线性回归的知识可以去coursera上看吴恩达的机器学习的课程的第二周的课程,b站上也有该课程的视频,从第9个视频到第24视频都在讲线性回归的知识。链接如下:以下为该课程网上的相关笔记:若只想简单了解原理可以看以下文章:2. 源码讲解下面开始源码的讲解2.1 class l1_regularization():class l1_regulariza...

weixin_39940770的博客 773

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

python一元线性回归算法_Python线性回归实例--Python,sklearn,LinearRegression

分析按照自变量和因变量之间的关系类型,可分为线性回归分析和非线性回归分析。如果在回归分析中,只包括一个自变量和一个因变量,且二者的关系可用一条直线近似表示,这种回归分析称为一元线性回归分析。如果回归分析中包括两个或两个以上的自变量,且因变量和自变量之间是线性关系,则称为多元线性回归分析。用最小二乘法估计参数b,设服从正态分布,分别求对a、b线性回归方程求法 的偏导数并令它们等于零,得方程组解为 ...

weixin_39605835的博客 774

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

Python线性回归实例--Python,sklearn,LinearRegression

Python sklearn中的LinearRegreesion实例

playgoon2的博客 2万+

线性回归训练数据拟合过程及Python LinearRegression 代码实现

对于机器学习来说,最简单的模型就是线性回归,线性回归往往作为机器学习的入门模型来学习,线性回归,顾名思义就是数据集合的分布可以用一条直线(二维)或者一个平面(三维)或者更多维度的线性方程 来进行划分界限的分布,举个很直观的例子: 上面是二维和三维的线性回归的界限分隔示意图,线性回归最典型的例子就是房价的问题,如上面图中,左边的图显示了 房屋的大小对房价的影响,只关注一个变量(房屋大小...

liujing319的专栏 4455

Python机器学习 — 线性回归(Linear Regression)

线性回归 -- 简介        线性回归是机器学习算法中最简单的算法之一,它是监督学习的一种算法,主要思想是在给定训练集上学习得到一个线性函数,在损失函数的约束下,求解相关系数,最终在测试集上测试模型的回归效果。          线性回归是利用数理统计中回归分析,来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法,运用十分广泛。其表达形式为, 为误差服从均值为0的正态分布。 ...

ls秦 5万+

python 实现linear regression线性回归算法

线性回归(Linear Regression)是一种在统计学中广泛使用的预测分析方法,它用于建立自变量(解释变量)和因变量(响应变量)之间的线性关系模型。简单来说,线性回归试图找到一个最佳的直线(或更一般地,一个线性模型),使得这条直线能够最好地拟合数据点(即使得实际观测值与通过模型预测的值之间的差异最小)。基本概念Yβ0β1X1β2X2⋯βnXnϵYβ0​β1​X1​β2​X2​⋯βn​Xn​ϵY 是因变量(响应变量),

luthane的博客 1269
上一篇: 缓解大脑疲劳
下一篇: 如何缓解大脑疲劳
小基基o_O
博客等级 码龄9年 4414粉丝 467原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小基基o_O

您的鼓励是我创作的巨大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值