线性回归中的非线性变换

【机器学习基础】非线性变换 引言 在之前介绍的分类问题中,所涉及的分类的模型都是线性的,在非线性变换这一节中,我们将模型延伸到非线性的情况下来进行数据的分类。 二次假设(Quadratic Hypotheses) 我们看到上面的例子,在左图中,圆圈和红叉的数据无法用一条直线将其分成两类,那么这这个例子中,我们其实可以用一个大圆圈将数据分类,所以现在我们考虑假设,该假设hSEP(x)是一个过原点的 阅读详情

非线性变换

在线性回归模型中,会发现有些变量与预测变量不是线性关系,所以需要非线性变换,把非线性关系转换为线性关系。

一、单变量做变换

载入boston房价数据
from sklearn.datasets import load_boston
from random import shuffle
boston = load_boston()
#seed(0) # Creates a replicable shuffling
#new_index = range(boston.data.shape[0])
#shuffle(new_index) # shuffling the index
#X, y = boston.data[new_index], boston.target[new_index]
X, y = boston.data, boston.target
print (X.shape, y.shape, boston.feature_names)


#散点图判断变量与目标之间的关系
import pandas as pd
df = pd.DataFrame(X,columns=boston.feature_names)
df['target'] = y
scatter = df.plot(kind='scatter', x='LSTAT', y='target', c='r')

从图中可以看出,LSTA可尝试log变换

import numpy as np
from sklearn.feature_selection.univariate_selection import f_regression
a=df['LSTAT'].values
y=boston.target
a=a.reshape(-1,1)

#注意:f_regression中的X参数和Y参数都必须是narray格式,且X必须是矩阵模式。
'''print(type(a))
print(type(y))
print(np.shape(a))
print(np.shape(y))
print(a)
print(y)'''
F, pval = f_regression(a,y)
#X_indices = np.arange(X.shape[-1])
print('F score for the original feature %.1f' % F)
F, pval = f_regression(np.log(a),y)
print('F score for the transformed feature %.1f' % F)

可以看出,log变换之后,F值变大,变换比较有效

import matplotlib.pyplot as plt
c=np.log(a)
#plt.scatter(a,y,s=[30],c='b')
plt.scatter(c,y,s=[30],c='b')

如上图,关系呈现线性。

二、除了考虑单变量,还要考虑变量之间的交互作用

#加载助手类:线性回归模型,K折交叉验证
from sklearn.linear_model import LinearRegression
from sklearn.cross_validation import cross_val_score
from sklearn.cross_validation import KFold
regression = LinearRegression(normalize=True)
crossvalidation = KFold(n=X.shape[0], n_folds=10, shuffle=True, random_state=1)

#加载波士顿房价预测数据集
from sklearn.datasets import load_boston
from random import shuffle
boston = load_boston()
X, y = boston.data, boston.target
df = pd.DataFrame(X,columns=boston.feature_names)
baseline = np.mean(cross_val_score(regression, df, y, scoring='r2', cv=crossvalidation, n_jobs=1))
#创建一个列表,该列表遍历所有的交互项(n*n次),如果加入了某个交互项的模型的k折交叉验证得分高于基准线,就会把交互项和得分存在列表中
interactions = list()
for feature_A in boston.feature_names:
    for feature_B in boston.feature_names:
        if feature_A > feature_B:
            df['interaction'] = df[feature_A] * df[feature_B]
            score = np.mean(cross_val_score(regression, df, y, scoring='r2', cv=crossvalidation, n_jobs=1))
            if score > baseline:
                interactions.append((feature_A, feature_B, round(score,3)))
print ('Baseline R2: %.3f' % baseline)
print ('Top 10 interactions: %s' % sorted(interactions, key=lambda x:x[2], reverse=True)[:10])

 

结果集如下:

现在检测rm、lstat与房价的关系

colors = ['b' if v > np.mean(y) else 'g' for v in y]
scatter = df.plot(kind='scatter', x='RM', y='LSTAT', c=colors)

rm代表每栋房子的房间数

LSTAT代表该地区低社会地位人口占比,

综上,房间数越多、地区人口社会越高,房价越高,符合常识。

:Attribute Information (in order):
        - CRIM     per capita crime rate by town
        - ZN       proportion of residential land zoned for lots over 25,000 sq.ft.
        - INDUS    proportion of non-retail business acres per town
        - CHAS     Charles River dummy variable (= 1 if tract bounds river; 0 otherwise)
        - NOX      nitric oxides concentration (parts per 10 million)
        - RM       average number of rooms per dwelling
        - AGE      proportion of owner-occupied units built prior to 1940
        - DIS      weighted distances to five Boston employment centres
        - RAD      index of accessibility to radial highways
        - TAX      full-value property-tax rate per $10,000
        - PTRATIO  pupil-teacher ratio by town
        - B        1000(Bk - 0.63)^2 where Bk is the proportion of blacks by town
        - LSTAT    % lower status of the population
        - MEDV     Median value of owner-occupied homes in $1000's

三、多项式回归:添加二次项和相互变量

# Adding polynomial features (x**2,y**2,xy)
polyX = pd.DataFrame(X,columns=boston.feature_names)
baseline = np.mean(cross_val_score(regression, polyX, y, scoring='neg_mean_squared_error', cv=crossvalidation, n_jobs=1))
improvements = [baseline]
for feature_A in boston.feature_names: 
    polyX[feature_A+'^2'] = polyX[feature_A]**2
    improvements.append(np.mean(cross_val_score(regression, polyX, y, scoring='neg_mean_squared_error', cv=crossvalidation, n_jobs=1)))
    for feature_B in boston.feature_names:
        if feature_A > feature_B:
            polyX[feature_A+'*'+feature_B] = polyX[feature_A] * polyX[feature_B]
            improvements.append(np.mean(cross_val_score(regression, polyX, y, scoring='neg_mean_squared_error', cv=crossvalidation, n_jobs=1)))
#作图
import matplotlib.pyplot as plt
import numpy as np
plt.figure() 
plt.plot(range(0,92),np.abs(improvements),'-')
plt.xlabel('Polynomial features')
plt.ylabel('Mean squared error')
plt.show()
#验证均方差

print(baseline)
print (np.shape(polyX))
crossvalidation = KFold(n=X.shape[0], n_folds=10, shuffle=True, random_state=1)
print ('Mean squared error %.3f' % abs(np.mean(cross_val_score(regression, polyX, y, scoring='neg_mean_squared_error', cv=crossvalidation, n_jobs=1))))

图中可以看出,多项式的特征越多不一定越好。

检查最终的模型,发现polyX有104个特征,一般对于一个特征至少需要有10-20个观察点,最好在30个以上。

此案例有506个观察点,特征点25左右比较合适。104个太多。从折线图看,20是个不错的点。

如果想获得完美的模型,需要逐一去尝试变量。

 

 

 

 

 

 

 

 

别再只调.fit()了!用sklearn的LinearRegression做波士顿房价预测,这5个细节决定模型好坏 本文深入探讨了使用sklearn的LinearRegression进行波士顿房价预测时的5个关键细节,包括数据加载陷阱、警告处理、数据拆分随机种子、评估体系优化和特征工程技巧。通过实战案例,帮助开发者提升模型表现,避免常见误区,特别适合希望从基础迈向进阶的机器学习实践者。 阅读详情

相关推荐

spss线性回归

笔记速看

weixin_61652196的博客 5402

坐标变换的数学基础:线性变换和非线性变换

1.背景介绍 坐标变换是计算机图形学、机器学习、数字信号处理等多个领域中的基础知识之一。在这篇文章中,我们将深入探讨坐标变换的数学基础,特别关注线性变换和非线性变换。我们将从以下几个方面进行讨论: 背景介绍 核心概念与联系 核心算法原理和具体操作步骤以及数学模型公式详细讲解 具体代码实例和详细解释说明 未来发展趋势与挑战 附录常见问题与解答 1.1 背景介绍 坐标变换是将一个坐标系中的...

AI天才研究院 4491

Python机器学习笔记(十九、单变量非线性变换)

对回归的目标变量y进行变换有时非常有用,比如尝试预测计数(订单数量)是一项相当常见的任务,这里使用 log(y + 1) 变换往往很有用。从以上笔记的例子中可以看出,分箱、多项式和交互项都对模型在给定数据集上的性能有很大影响,对于复杂度较低的模型更是这样,比如线性模型和朴素贝叶斯模型。基于树的模型只关注特征的顺序,线性模型和神经网络依赖于每个特征的尺度和分布。不过应用对数变换可能有用。从上面输出可以看出,数字2似乎是最常见的,共出现了68次(bincount始终从0开始),更大数字的出现次数快速下降。

FreedomLeo1的博客 878

线性变换和非线性变换的作用

线性变换是一种数学操作,将输入向量通过线性函数映射到另一个向量空间。在线性变换中,输出是输入的线性组合,其一般形式为:其中,( W ) 是权重矩阵,( x ) 是输入向量,( b ) 是偏置向量,( y ) 是输出向量。非线性变换是指将线性变换后的输出通过非线性激活函数进行处理,激活函数是非线性的,使得输出不再是输入的简单线性组合。常见的激活函数包括 ReLU、sigmoid 和 tanh 等。线性变换和非线性变换在神经网络中各自发挥着重要的作用。

m0_51200050的博客 1832

【Python-机器学习】比较线性回归 vs 多项式回归

太棒了 💡 —— 这是非常经典的对比:**线性回归**只能拟合“直线趋势”, 而**多项式回归**可以通过构造非线性特征,让模型更灵活地捕捉“弯曲规律”。 下面我给你一份完整、可运行的 **Python + Matplotlib 可视化对比代码**: 同一张图展示“线性回归”与“多项式回归”的拟合效果。 --- import numpy as np import matplotlib.pyplot as plt from sklearn.linear_model import

weixin_46453070的博客 366

大唐豪侠服务器列表文件格式错误,关于大唐豪侠一键端的一些问题心得

有人问了大唐豪侠架设方面的问题,我简单研究了一下,做了个整理,现放出来大家一起研究讨论,我是把服务端的解压到了D盘里面了。第一个问题:架设成功后,运行客户端提示获取服务器列表失败,这个原因是因为压缩的一键端是整理过的,我们需要把服务器列表等解压出来,详见截图首先到这个目录里面找到package.zip,找到这个以后这里要注意,解压路径里面一定不要有package,这个解压成功后就有了服务列表等...

weixin_42530536的博客 1529

机器学习笔记(八)非线性变换

一、非线性问题 对于线性不可分的数据资料,用线性模型分类,Ein会很大,相应的Ein=Eout的情况下,Eout也会很大,导致模型表现不好,此时应用非线性模型进行分类,例如: 分类器模型是一个圆形,假设模型可表示为 转化表示形式 将平方项和常数项转为一次的Z项,则将非线性的特征空间转化为线性的特征空间 可以用线性模型进行分类 二、非线性转换 对于把Q次方的多项式...

dengyujiu3251的博客 1177

华为OD机试 双机位C卷:微服务的集成测试 (C/C++/Py/Java/JS/Go)

华为OD机试 双机位C卷 :微服务的集成测试 ,提供C语言、Java、C++、Python、Go、JavaScript源码实现,并提供完整思路讲解。华为OD机试 微服务的集成测试 , 华为OD 微服务的集成测试

qq_45776114的博客 2066

从零开始学OpenCV——图像灰度变换详解(线性与非线性变换)

在实际应用中,为了突出图像中感兴趣的研究对象,常常要求增强某一灰度范围的对比度,或对不同范围的灰度值进行不同的处理,即分段线性拉伸。分段线性拉伸是仅将某一范围的灰度值进行拉伸,而其余范围的灰度值实际上被压缩了。阈值变换可以将灰度图像转换成黑白二值图像,用户指定一阈值T,灰度低于T置0,高于T置255。伽玛变换又称为 指数变换 或 幂次变换,是另一种常用的灰度非线性变换。输出图象每个象素点的灰度值仅由输入图像相同位置象素点的灰度值决定。时,该灰度变换是线性的,此时通过线性方式改变原图像。

ai领域探索者,欢迎一起交流,目前从事具身智能行业。 1万+

在时间轴上联动多张内表:ABAP 的 PROVIDE ... ENDPROVIDE 区间联动迭代实战

PROVIDE 是 ABAP 中处理有效期区间数据的强大工具,它能自动将多张内表按时间维度切片并联合处理。其核心功能包括:指定区间边界字段(BOUNDS),定义外部总区间(BETWEEN),并通过工作区和标志位(VALID)标识每张表在当前子区间是否生效。该语法特别适合 HR 信息类型等有效期数据,能避免手动处理区间重叠、排序和空档等问题。使用时需注意字段投影(FIELDS)限制、工作区只读原则,以及异常处理(如区间重叠或未排序)。典型应用场景包括员工调岗记录、价格有效期管理等需要时间轴联动的业务逻辑。

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 1675

如何利用通达信进行选股集合操作

每个交易者实际上都有自己的选股策略,这是必然的,也会有自己的主观干预,但是还是需要从客观热点股票进行一个比对的,才能说主观和客观相结合不至于​偏离方向。 这几天我也发了节前最后一天我的选股策略盘中的选择结果, 我也从网上拿到了热点股票池,当拿到之后你会发现如何从几十个股票热点股票选出核心票,这就是个问题了,这里面一定要通过股价涨跌幅来进行过滤,而不是通过指标,因为一切指标都是根据价格变化而改变的了,所以​这一步不要走弯路。 1、把拿到的热点股票名单,导入通达信自定义板块 2、删除

抢财猫股票课堂 2584

利用sklearn 实现线性回归、非线性回归

【代码】利用sklearn 实现线性回归、非线性回归。

知识搬运者 1419

GD32F130之USART多机通信

简介 在多机通信中,一个从机应该只接收它需要接收的数据,且只应该在它需要接收数据时才检测串口。而始终接收RX线上的数据对从机来说是一种负担。 多机通信硬件设计 远距离方案:RS485 板级方案: 静默模式 静默模式有什么作用? 答:如果 USART 处于静默模式,所有的接收状态标志位将不会被置位。 如何进入静默模式? 答:软件可以通过将 USART_CMD 寄存器中MMCMD 位置 1 使 USART 进入静默模式。 如何从静默模式中唤醒? 答:有两种方式可选,①检测到总线

luliplus的博客 302

r语言 线性回归 相关系数_R相关与回归学习笔记(二十五)——利用线性回归模型做曲线拟合(一)...

本笔记中原始数据及代码均来源于李东风先生的R语言教程,在此对李东风先生的无私分享表示感谢。某些非线性关系可以通过对因变量和自变量的简单变换变成线性回归模型。 例如,彩色显影中,染料光学密度Y与析出银的光学密度x有如下类型的关系这不是线性关系。两边取对数得令则为线性关系。 从n组数据得到变换的数据对变换后的数据建立线性回归方程反变换得则有往期回顾R相关与回归学习笔记(一)——相关分...

weixin_39790102的博客 1111

【unity实战】Cinemachine虚拟相机实战,使用InputSystem+Cinemachine+CharacterController复刻各种主流游戏的相机控制

这里主要是探讨如何使用InputSystem+Cinemachine+CharacterController复刻各种主流游戏的相机控制,我们主要专注Cinemachine实战效果,所以并不会深入讨论Cinemachine和CharacterController比较细节的参数介绍。注意:前面为了测试方便,我还是先用的旧的输入系统代替InputSystem【推荐100个unity插件之10】Unity最全的最详细的Cinemachine(虚拟相机系统)介绍,详细案例讲解,快速上手。

向宇的博客,专注php/web全栈 unity游戏开发,欢迎大家评论纠错 3754

VS2019编译使用log4cplus 1.2.0

logger.properties 文件。第三步,创建项目来测试,配置库。第二步,使用VS2019编译。

h a 6 6 6 c k 为 你解决复杂难题! 529

R语言进行数据结构化转换:Box-Cox变换、“凸规则”变换方法

原文链接:http://tecdat.cn/?p=22251线性回归时若数据不服从正态分布,会给线性回归的最小二乘估计系数的结果带来误差,所以需要对数据进行结构化转换。在讨论回归模型中的变换时,我们通常会简单地使用Box-Cox变换,或局部回归和非参数估计。这里的要点是,在标准线性回归模型中,我们有但是有时候,线性关系是不合适的。一种想法可以是转换我们要建模的变量,然后考虑这就是我们通常使用Box...

拓端研究室TRL 500

计算机网络实验报告实验七可靠传输TCP协议分析

计算机网络实验报告实验七可靠传输TCP协议分析

m0_56638814的博客 966

【西蒙计算机视觉学习笔记】非线性回归模型

背景:最大似然法学习的简单的线性回归模型的第二个缺点—— 更正假设:对观测数据x进行非线性变换,使得满足如下(f[·]代表一个非线性变换)—— 重新建模、学习和推理: 最大似然方法: 建模: 构建关于全局状态的后验函数(似然函数)。 原始的模型: 令Z←X, 学习: 最大化上述似然函数,令偏导等于0,求得参数关于已知数据的表达式。 原模型的学习结果: 令Z←X, 推理: 将新观测数据和预测分布代入已求得分布参数的模型中,计算关于预测分布的后验概...

woshirenchengaji的博客 968

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

机器学习算法原理系列篇8:线性回归算法的数学推导

更多专业的人工智能相关文章,微信搜索 : robot-learner , 或扫码 线性回归(Linear Regression)是统计学中常用的方法,也是机器学习中基础的算法。线性回归算法是利用最小平方函数对一个或多个自变量和目标变量(也称因变量)之间关系进行建模的一种回归分析。 假设有n个数据点,我们可以用下面的矩阵形式表示数据: 其中X矩阵中有n ...

《人工智能原理与实践》作者 1060

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

非线性回归算法--学习笔记

非线性回归算法--学习笔记

oneself的博客 817

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

【交替条件期望算法ACE用于计算最优变换】通过数据重建非线性时延模型使用最佳变换附Matlab代码

在复杂的数据分析场景中,许多实际问题涉及到变量间的非线性关系,尤其是在处理具有时延特性的数据时,准确捕捉和建模这种非线性关系对提高预测精度和系统性能至关重要。交替条件期望算法(ACE)作为一种强大的数据分析工具,在寻找变量间的最优变换、构建精准的非线性时延模型方面展现出独特优势。ACE 算法原理概述基于 ACE 的数据重建非线性时延模型时延数据特性与挑战在许多实际系统中,如通信网络、工业过程控制等,数据往往存在时延现象。

matlab_daizuo的博客 741

《统计学习导论-基于R应用》第三章:线性回归(代码)

库library 库:一组不含在基础R配置内的函数和数据集 library(MASS) # 加载库 library(ISLR)# 安装库 install.packages("ISLR") 简单线性回归 fix(Boston) # 查看Boston数据集 names(Boston) # 查看数据集的列名(预测变量+响应变量medv) 'crim' 'zn' 'indus' 'cha...

漫步量化 3511

动手学深度学习笔记1线性回归

线性回归、softmax与多层感知机 一、线性回归 1.线性模型: 2.损失函数 第一个是单样本的损失,第二个是多样本的损失 3.优化函数-SGD: 常用的是小批量随机梯度下降: 优化函数的两个步骤: (i)初始化模型参数,一般来说使用随机初始化; (ii)我们在数据上迭代多次,通过在负梯度方向移动参数来更新每个参数。 4.矢量计算 向量相加的一种方法是,将这两个向量按元素逐一做标量加法。 ...

programer_cao的博客 329

[回归分析][8]--变量的变换

[回归分析][8]--变量的变换 这一节会讲关于变量的变换,如最常用的(做对数变换),和我们在什么情况下要做变换。 当然,要能做变换,我们必须要熟悉函数的形状,下面给出常见函数的图像。 (其实,当我们能由函数图像猜出函数式子的时候,可以使用非线性回归) 我们这里使用变换来做,看一个例子 这是一组年份与石油产量的数据data = {{1880, 30...

weixin_30727835的博客 622

逻辑回归到底是线性的还是非线性的?

转载:https://www.zhihu.com/question/29385169/answer/44177582 辛俊波 机器学习/数据挖掘/户外/摄影 29 人赞同了该回答 谢邀。 逻辑回归的模型引入了sigmoid函数映射,是非线性模型,但本质上又是一个线性回归模型,因为除去sigmoid

zxyhhjs2017的博客 2万+
上一篇: K最近邻(KNN)
下一篇: 正则化线性模型
Arron_yuan
博客等级 码龄12年 11粉丝 24原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值