Python数据分析之scikit-learn与数据预处理​

Python 数据分析与挖掘概述 Python 数据分析与挖掘概述 一、数据分析与挖掘介绍 从人类历史演变的角度出发,我们回顾整个计算机的发展历程可以看到,从第一台电子计算机(ENIAC)于1946年2月诞生到今天,也不过是短短的六十载,但就是在这短短的几十年过程中,计算机技术得... 阅读详情

1 引言

预处理操作是机器学习整个周期中必不可少的一个过程,也是最能快速改善模型性能的一个过程,往往稍微转换一下特征属性的形态,就能得到性能的极大提升。当然,数据预处理绝对也是耗时最长的一个过程,这一过程不仅要求洞悉整个数据集结构分布,还要探查每一个特征属性细节情况,并作出应对处理,使数据以最适合的状态传输给模型。

针对预处理操作,sklearn中提供了许多模块工具,灵活使用工具可以让数据预处理轻松很多。

本文简要介绍数据预处理中的一些主要方法,并结合sklearn中提供的模块进行实践。

2 无量纲化

对于大部分机器学习任务而言,对原始数据进行无量纲化是是建模前的必不可少的一个环节。通过无量纲化,可以消除量纲不一致对模型造成的不良影响。标准化和归一化是最为常见的两种无量纲化方法,下面分别展开介绍这两种方法。

2.1 标准化

标准化对数据的分布的进行转换,使其符合某种分布(一般指正态分布)的一种特征变换。一般而言,标准化都是指通过z-score的方法将数据转换为服从均值为0,标准差为1的标准正态分布数据,通过如下公式进行转换:

式中,μ和σ是指x所在特征属性集的均值和标准差。

(1)sklearn.preprocessing.scale方法实现标准化

from sklearn import preprocessing
import numpy as np
X_train = np.array([[ 1., -1.,  2.],
                    [ 2.,  0.,  0.],
                    [ 0.,  1., -1.]])
X_scaled = preprocessing.scale(X_train)

再次查看X_train各列,我们会发现,均值和方差都已经标准化:

X_train.mean(axis=0)
array([1.        , 0.        , 0.33333333])
X_scaled.std(axis=0)
array([1., 1., 1.])

(2)sklearn.preprocessing.StandardScaler类实现归一化

除了scale方法外,在sklearn.preprocessing模块中还提供有一个专门的类用于实现标准化:StandardScaler,StandardScaler类会自动计算实例化类时传入的训练集的均值、标准差,并将这些信息保留,这也就意味着,对训练集的标准化方式可以复用,例如对测试集和预测样本进行同样的标准化。所以,一般来说,更加建议使用StandardScaler类来实现标准化。

# 传入一个训练集,实例化StandarScaler类
scaler = preprocessing.StandardScaler()
scaler.fit(X_train)  # 收集标准化信息,均值,标准差
StandardScaler(copy=True, with_mean=True, with_std=True)
scaler.mean_   # 查看均值
array([1.        , 0.        , 0.33333333])
scaler.scale_  # 查看标准差
array([0.81649658, 0.81649658, 1.24721913])

创建StandarScaler类实例后,需要通过类中的transform方法对X-train进行标准化:

scaler.transform(X_train)
array([[ 0.        , -1.22474487,  1.33630621],
       [ 1.22474487,  0.        , -0.26726124],
       [-1.22474487,  1.22474487, -1.06904497]])

StandardScaler类中还提供有一个fit_transform方法,这个方法合并了fit和transform两个方法的功能,同时根据传入的数据集收集标准化信息,并将标准化方案应用于传入的训练集:

scaler = preprocessing.StandardScaler()
x_train = scaler.fit_transform(X_train)
x_train
array([[ 0.        , -1.22474487,  1.33630621],
       [ 1.22474487,  0.        , -0.26726124],
       [-1.22474487,  1.22474487, -1.06904497]])

假设现在有一个测试样本,那么,也可以通过transform方法将标准化方案应用于测试样本上:

X_test = [[-1., 1., 0.]]
scaler.transform(X_test)
array([[-2.44948974,  1.22474487, -0.26726124]])

2.2 归一化

归一化是指对数据的数值范围进行特定缩放,但不改变其数据分布的一种线性特征变换。大多数场景下,归一化都是将数据缩放到[0,1]区间范围内,计算公式如下:x′=x−minmax−min    式中,min和max是x所属特征集合的最小值和最大值。可见,这种归一化方式的最终结果只受极值的影响。

(1)sklearn.preprocessing.minmax_scale方法实现归一化。

X_train = np.array([[ 1., -1.,  2.],
                    [ 2.,  0.,  0.],
                    [ 0.,  1., -1.]])
X_train = preprocessing.minmax_scale(X_train)
X_train
array([[0.5       , 0.        , 1.        ],
       [1.        , 0.5       , 0.33333333],
       [0.        , 1.        , 0.        ]])

(2)sklearn.preprocessing.MinMaxScaler类实现归一化。

X_train = np.array([[ 1., -1.,  2.],
                    [ 2.,  0.,  0.],
                    [ 0.,  1., -1.]])


min_max_scaler = preprocessing.MinMaxScaler()
X_train_minmax = min_max_scaler.fit_transform(X_train)
X_train_minmax
array([[0.5       , 0.        , 1.        ],
       [1.        , 0.5       , 0.33333333],
       [0.        , 1.        , 0.        ]])

使用训练好的min_max_scaler对新的测试样本进行归一化:

X_test = np.array([[-3., -1.,  4.]])
X_test_minmax = min_max_scaler.transform(X_test)
X_test_minmax
array([[-1.5       ,  0.        ,  1.66666667]])

我们知道,归一化是将特征属性值缩放到[0,1]范围,但在某些特殊的场景下,我们需要将特征属性缩放到其他范围,MinMaxScaler类通过feature_range参数也提供了这一功能,feature_range参数接受一个元组作为参数,默认值为(0,1)。

X_train = np.array([[ 1., -1.,  2.],
                    [ 2.,  0.,  0.],
                    [ 0.,  1., -1.]])


min_max_scaler = preprocessing.MinMaxScaler(feature_range=(10,20))
X_train_minmax = min_max_scaler.fit_transform(X_train)
X_train_minmax
array([[15.        , 10.        , 20.        ],
       [20.        , 15.        , 13.33333333],
       [10.        , 20.        , 10.        ]])

(3)sklearn.preprocessing.MaxAbsScaler类实现归一化

MaxAbsScaler是专门为稀疏数据做归一化设计的,通过特征值除以整个特征集合最大绝对值实现,最终将数据投影到[-1, 1]范围内,对原来取值为0的数据并不会做出变换,所以不会影响数据的稀疏性。

最后来总结一下标准化和归一化。标准化是依照特征矩阵的列处理数据,其通过求z-score的方法,转换为标准正态分布,和整体样本分布相关,每个样本点都能对标准化产生影响,而归一化是将样本的特征值转换到同一量纲下把数据映射到指定区间内,仅由变量的极值决定,所以对异常值较为敏感。标准化和归一化都是一种线性变换,都是对向量x按照比例压缩再进行平移。无论是标准化还是归一化,都可以将数据无量纲化,消除不同量纲对结果的影响,同时都可以加过模型的收敛速度。标准化与归一化之间如何选择呢?

大多数机器学习算法中,会选择StandardScaler来进行特征缩放,因为MinMaxScaler对异常值非常敏感。在PCA,聚类,逻辑回归,支持向量机,神经网络这些算法中,StandardScaler往往是最好的选择。

MinMaxScaler在不涉及距离度量、梯度、协方差计算以及数据需要被压缩到特定区间时使用广泛,比如数字图像处理中量化像素强度时,都会使用MinMaxScaler将数据压缩于[0,1]区间之中。若是归一化时需要保留数据的稀疏性,则可以使用MaxAbscaler归一化。在大多数情况下,建议先试试看StandardScaler,效果不好换MinMaxScaler。

另外,这里再提一下正则化(Normalization),很多资料把正则化与归一化、标准化放到一起讨论,虽然正则化也是数据预处理方法的一种,但我并不认为正则化是无量纲化方法。正则化通过某个特征值除以整个样本所有特征值的范数计算,使得整个样本范数为1,通常在文本分类和聚类中使用较多。

sklearn中提供preprocessing.normalize方法和preprocessing.Normalizer类实现:

X_train = np.array([[ 1., -2.,  2.],
                    [ 2.,  0.,  0.],
                    [ 0.,  1., -1.]])


max_abs_scaler = preprocessing.MaxAbsScaler()
X_train_max_abs = max_abs_scaler.fit_transform(X_train)
X_train_max_abs
array([[ 0.5, -1. ,  1. ],
       [ 1. ,  0. ,  0. ],
       [ 0. ,  0.5, -0.5]])
X_train = np.array([[ 1., -1.,  2.],
                    [ 2.,  0.,  0.],
                    [ 0.,  1., -1.]])


nor = preprocessing.Normalizer()
X_train_nor = nor.fit_transform(X_train)
X_train_nor
array([[ 0.40824829, -0.40824829,  0.81649658],
       [ 1.        ,  0.        ,  0.        ],
       [ 0.        ,  0.70710678, -0.70710678]])

3 缺失值处理

由于各种各样的原因,我们所面对的数据经常是有所缺失的,然而sklearn中实现的各个算法都假设数据没有缺失为前提,如果直接用缺失数据跑算法影响最终结果不说,也容易产生各种异常,所以在数据预处理阶段,对缺失值进行处理是很有必要的。对于缺失值处理,直接删除包含缺失值的特征属性或者样本是最简单的方法,但是这种方法却也将其他部分信息抛弃,在很多情况下,特别是数据样本不多、数据价值大时,未免得不偿失。在sklearn中,提供了诸多其他处理缺失值的方案,例如以均值、中位数、众数亦或者是指定值填充缺失值等,这些方案都在sklearn.impute模块中提供的SimpleImputer类中实现,SimpleImputer类参数如下:

import numpy as np
from sklearn.impute import SimpleImputer
imp = SimpleImputer(missing_values=np.nan, strategy='mean')  # 指定缺失值为nan,以均值填充
imp.fit([[1, 2], [np.nan, 3], [7, 6]])
X = [[np.nan, 2], [6, np.nan], [7, 6]]
imp.transform(X)
array([[4.        , 2.        ],
       [6.        , 3.66666667],
       [7.        , 6.        ]])
imp = SimpleImputer(missing_values=0, strategy='constant', fill_value=1)  # 指定缺失值为0,指定以常数1填充
imp.fit([[5, 2], [4, 0], [7, 6]])
X = [[0, 2], [6, 0], [7, 6]]
imp.transform(X)
array([[1, 2],
       [6, 1],
       [7, 6]])

4 离散型特征属性处理

很多时候,我们所要处理的特征属性未必是连续型的,也可能是离散型,以衣服为例,款式(男款、女款),大小(X、XL、XXL),颜色(绿色、红色、白色),都是离散型特征属性。对于这类离散型特征属性,需要编码之后才能用来建模。离散型特征属性值可以分为两种:

(1)数字编码整数编码是指对离散型属性以整数来标识,例如色泽这一特征中,以整数“0”标识“男款”,整数“1”标识“女款”。sklearn中提供了LabelEncoder和OrdinalEncoder两个类用以实现对数据的不同取值以数字标识。LabelEncoder和OrdinalEncoder会自动根据提供的训练数据进行统计,分别对每个特征属性从0开始编码,不同的是,LabelEncoder类一次只能对一个一维数组(一个特征属性)编码,而OrdinalEncoder能同时对各个特征属性编码:

enc = preprocessing.LabelEncoder()  # 只能接受一个一维数组
X = ['红色', '白色', '绿色']
enc.fit(X)
X_ = enc.transform(X)
X_
array([1, 0, 2])
enc = preprocessing.OrdinalEncoder()  # 可以同时多通过特征属性编码
X = [['女款', 'X', '绿色'], ['女款', 'XL', '红色'], ['男款', 'XXL', '白色']]
enc.fit(X)
X_ = enc.transform(X)
X_
array([[0., 0., 2.],
       [0., 1., 1.],
       [1., 2., 0.]])
enc.inverse_transform(X_)  # 可以使用inverse_transform逆转
array([['女款', 'X', '绿色'],
       ['女款', 'XL', '红色'],
       ['男款', 'XXL', '白色']], dtype=object)

但在很多模型中,使用整数编码并不合理,特别是在聚类这类需要计算空间距离的算法模型。仔细观察上面编码,颜色这一属性有三种取值(绿色、红色、白色),分别以(2,1,0)表示,颜色之间是没有大小意义的,但以三个数字表示后,就赋予了三种属性值大小上的意义,且在算法计算距离时,绿色(2)到白色(0)的距离比红色(1)到白色(0)大,这是不合理的。对于这类取值没有大小意义的离散型特征属性,有一种更加合适的编码方式:独热编码。

(2)独热编码

独热编码即 One-Hot 编码,其方法是使用N位状态寄存器来对N个状态进行编码,每个状态都由他独立的寄存器位,并且在任意时候,其中只有一位有效。sklearn中提供了OneHotEncoder类用以实现对数据的独热编码:

enc = preprocessing.OneHotEncoder()
X = [['女款', 'X', '绿色'], ['女款', 'XL', '红色'], ['男款', 'XXL', '白色']]
enc.fit(X)
enc.transform([['男款', 'XL', '绿色']]).toarray()
array([[0., 1., 0., 1., 0., 0., 0., 1.]])

在上述输出结果中,特征属性有多少种取值经过独热编码后就扩展为多少个维度,以款式为例,经过独热编码后,扩展为两个维度,第一维中1表示是女款,0表示非女款。在实例化OneHotEncoder类时,可以通过categories参数指定各特征属性的所有类别,这样即使存在训练数据中没有出现的类别,在后续出现时也能正确编码:

style = ['女款', '男款']
size = [ 'X','XL','XXL']
color = ['绿色','红色','白色']
enc = preprocessing.OneHotEncoder(categories=[style, size, color])
X = [['女款', 'X', '绿色'], ['女款', 'XL', '红色']]
enc.fit(X)
enc.transform(X).toarray()
array([[1., 0., 1., 0., 0., 1., 0., 0.],
       [1., 0., 0., 1., 0., 0., 1., 0.]])
enc.transform([['男款', 'XXL', '白色']]).toarray()  # 男款,XXL,白色三个属性值均为在X中出现,但是可以正确编码
array([[0., 1., 0., 0., 1., 0., 0., 1.]])

创建好OneHotEncoder类实例并通过训练数据后,就可以对后续的数据进行独热编码,但是,有时候却不可避免地出现categories和训练数据集中都未出现过的取值,这时候继续编码就会抛出异常。为了防止这一情况发生,我们可以在创建OneHotEncoder实例时,传入参数handle_unknown='ignore',这样的话,如果出现某一特征属性值未在categories和训练数据集中出现过,通过热独编码时,该特征属性多对应的维度都会以0来填充。

style = ['女款', '男款']
size = [ 'X','XL']
color = ['绿色','红色']
enc = preprocessing.OneHotEncoder(categories=[style, size, color],handle_unknown='ignore')
X = [['女款', 'X', '绿色'], ['女款', 'XL', '红色']]
enc.fit(X)
enc.transform([['男款', 'XXL', '白色']]).toarray()  # XXL, 白色在categories和X中都为出现过
array([[0., 1., 0., 0., 0., 0.]])

独热编码解决了离散型属性难以有效刻画的问,在一定程度上也起到了扩充特征的作用,它的值只有0和1,不同的类型存储在垂直的空间。当类别的数量很多时,特征空间会变得非常大。在这种情况下,一般可以用PCA来减少维度。而且one hot encoding+PCA这种组合在实际中也非常有用。

5 连续型特征属性离散化

有时候,将连续型特征属性离散化能够显著提高模型的表现力。连续型特征属性离散化包括二值化和分段等方法。

(1)二值化

二值化是指通过一个阈值对属性值进行划分,当小于这个阈值时,将值映射为0,大于阈值时映射为1。二值化是对文本计数数据的常见操作,分析人员可以决定仅考虑某种现象的存在与否。它还可以用作考虑布尔随机变量的估计器的预处理步骤(例如,使用贝叶斯设置中的伯努利分布建模)。sklearn中提供了Binarizer实现二值化,默认阈值为0,也就是将非正数映射为0,将正数映射为1。也可以在实例化时通过参数threshold,设置其他阈值。

X = [[ 1., -1.,  2.],    [ 2.,  -4.,  0.],    [ 3.,  2., -1.]]    binarizer = preprocessing.Binarizer().fit(X)    binarizer    Binarizer(copy=True, threshold=0.0)    binarizer.transform(X)    array([[1., 0., 1.],    [1., 0., 0.],    [1., 1., 0.]])    binarizer = preprocessing.Binarizer(threshold=1.5).fit(X)    binarizer.transform(X)    array([[0., 0., 1.],    [1., 0., 0.],    [1., 1., 0.]])(2)分段

二值化只能将数据映射为两个值,分段可以对数据进行排序后分为多个部分然后进行编码。在sklearn中,分段操作通过KBinsDiscretizer类进行。KBinsDiscretizer类有三个重要参数,必须了解一下:

X = [[-2, 1, -4,   -1],
     [-1, 2, -3, -0.5],
     [ 0, 3, -2,  0.5],
     [ 1, 4, -1,    2]]
est = preprocessing.KBinsDiscretizer(n_bins=3, encode='ordinal', strategy='uniform').fit(X)
est.transform(X)
array([[0., 0., 0., 0.],
       [1., 1., 1., 0.],
       [2., 2., 2., 1.],
       [2., 2., 2., 2.]])

作者:奥辰

https://www.cnblogs.com/chenhuabin

(完)


第一章 python大数据分析概述 第一章 python大数据分析概述 本章内容 1 . 理解数据 2 . 认识数据分析 3 . 数据分析工具Python 4 . 重要的Python数据分析类库 5 . 集成开发环境和文本编辑器 6 . 使用Jupyter Notebook 1.1 Python数据分析概述1 理解数据 需要分析的数据一般是结构化的、半结构化的、非结构化的数据集合 。 大部分数据集多能被转化为更加适合分析和建模的结构化形式 。 主要的结构化数据有 : 1 . 表格型数据 , 其中各列可能是不同的类型(字符串,数值,日期等),比 阅读详情

相关推荐

Python数据分析与可视化

作者:禅与计算机程序设计艺术 1.简介 Python是一种高级的、通用型的、动态的、解释型的、面向对象的脚本语言。它被广泛应用于数据分析、机器学习、Web开发等领域。随着数据量的增长、计算性能的提升、编程环境的统一性,Python在数据处理、数据分析方面的作用越来越重要。相比其他编程语言来说,Pytho

AI天才研究院 2105

机器学习 —— Sklearn包中StandardScaler()、transform()、fit()的详细介绍

机器学习 —— Sklearn包中StandardScaler()、transform()、fit()的详细介绍。数据标准化

杨老师的小跟班(*∩_∩*) 8261

Python数据分析实例详解与应用

Pandas库中的Series对象是一个一维的标签数组,可以存储任何数据类型(整数、字符串、浮点数、Python对象等)。Series对象可以进行高效的数据对齐和运算,适用于时间序列数据的处理。# 创建一个简单的Series对象# 显示Series对象的内容print(s)逻辑分析与参数说明:1. 上述代码中,我们使用函数创建了一个Series对象s。2. Series对象s通过位置索引进行数据的组织。

weixin_35751194的博客 1057

干货!使用Scikit-learn对数据进行预处理!

Scikit-learn提供了预处理模块,即sklearn.preprocessing模块,能够将原始的特征向量转换为更适合机器学习算法的形式。该preprocessing模块支持机器学习中常用的数据预处理功能,包括数据缩放、数据转换、归一化以及离群数据的处理等。1,标准化 对于Scikit-learn中实现的很多机器学习算法,将数据集进行标准化是常见的需求。许多目标函数都是假定所...

cainiao_python的博客 882

Python数据分析全方位教程

Scikit-learn支持包括支持向量机(SVM)、随机森林、梯度提升机(GBM)、k-近邻(k-NN)在内的多种算法。# 加载数据集# 训练随机森林模型# 预测和评估此代码段使用随机森林分类器对鸢尾花数据集进行分类。

weixin_35752233的博客 730

Python数据分析、挖掘与可视化慕课全攻略

本文还有配套的精品资源,点击获取 简介:本课程深入讲解Python在数据分析、数据挖掘和数据可视化领域的应用,涵盖基础知识、数据分析库、数据预处理、数据挖掘技术、数据可视化技术、案例研究、PPT和源码解析、学习资源等。学习者将通过理论学习和实践操作,系统掌握数据分析的全流程,提升数据驱动决策能力。 1. Python编程基础 Python作为一门广泛应用于数...

weixin_35752645的博客 1186

数据归一化 minmax_scale()函数解析

minmax_scale()函数是来自sklearn.preprocessing包中。sklearn.preprocessing.minmax_scale(X, feature_range=(0, 1), axis=0, copy=True) 该方法将每个特征放缩到给定范围内(默认范围0-1) 为什么要进行归一化: 数据存在不同的评价指标,其量纲或量纲单位不同,处于不同的数量级。解决特...

沙哈 3万+

从病毒分析到安全研究:手把手教你用OD破解加壳程序的反调试机制

本文深入探讨了如何识别并绕过加壳程序的反调试机制,特别是针对使用IsDebuggerPresent等API检测的防护手段。通过实战案例和工具链配置,详细介绍了逆向工程中的关键技巧,包括内存补丁、硬件断点定位OEP等,帮助安全研究人员有效突破软件保护技术。

tgb345678的博客 825

Python中归一化特征到一定区间的函数——MinMaxScaler()

MinMaxScaler()函数在sklearn包中 MinMaxScaler()函数原型为: sklearn.preprocessing.MinMaxScaler(feature_range=(0, 1), copy=True) 其中: feature_range:为元组类型,范围某认为:[0,1],也可以取其他范围值。 copy:为拷贝属性,默认为True,表示对原数据组拷贝操作,...

技术博客 6万+

SAP License USMM SLAW2 SAP审计

引言 企业每年都会收到SAP License审计邮件,邮件内容大致就是根据贵公司与SAP签定的合同XXX条款规定,贵公司所安装的SAP系统需要进行测定。 关键字: SAP License、 SAP USMM、 SLAW2、 SAP 账号、SAP 账号审计、 SAP License 审计、 SAP 审计报告、SAP 账号优化 SAP License审计邮件 企业每年都会收到SAP License审计邮件,邮件内容大致就是根据贵公司与SAP签定的合同XXX条款规定,贵公司所安...

感悟人生 2981

AI 小说生成器本地部署完全指南

这篇文章介绍了本地部署AI小说生成器的完整指南,主要面向网文作者、内容创作者和AI爱好者。文章从环境搭建到创作实践,详细讲解了三种主流部署方案:Ollama(推荐新手)、LMStudio(图形界面)和text-generation-webui(高级定制)。内容涵盖硬件需求、系统架构、模型选择、API对接、提示词工程等关键技术环节,并提供了小说创作的特制提示词模板和参数调优建议。文章还讨论了长篇小说管理、多模型协作等进阶技巧,以及版权伦理等法律问题。最后推荐了相关工具资源和社区论坛,帮助读者实现安全、高效、可

珂珂可爱多 2315

Python中归一化特征到一定数值区间的函数——MinMaxScaler()

使用MinMaxScaler()需要首先引入包sklearn, MinMaxScaler()在包sklearn.preprocessing下 可以将任意数值归一化处理到一定区间。 MinMaxScaler()函数原型为: sklearn.preprocessing.MinMaxScaler(feature_range=(0, 1), copy=True) 其中feature_range表示归一化范围。copy默认为True,为拷贝属性,默认为True,表示对原数据组拷贝操作,这样变换后元数组不变,

coral1001的博客 1万+

中国全国地面站点数据(1981-2010)、月平均气象、月平均降水、月平均相对湿度、月最大降水、月最高温度最低温度、月最高温平均值最低温平均值、高低温站点基础数据,气候数据

中国全国地面站点数据(1981-2010)、月平均气象、月平均降水、月平均相对湿度、月最大降水、月最高温度最低温度、月最高温平均值最低温平均值、高低温站点基础数据 b_china_mon_avg_data_pressure月平均气象 b_china_mon_avg_data_rain月平均降水 b_china_mon_avg_data_rhu月平均相对湿度 b_china_mon_max_data_rain月最大降水 b_china_mon_max_min_data_tem月最高温度最低温度 b_china

无极低码 2万+

Python数据分析实战:数据预处理核心技术与Scikit-learn自动化流水线

数据预处理是数据分析与机器学习流程中的关键环节,它直接决定了后续模型性能的上限。其核心原理在于将原始、混乱的现实数据转化为可供算法高效处理的标准化格式,涉及数据清洗、集成、变换与规约等一系列技术。从技术价值看,扎实的预处理能有效避免模型偏差、提升计算效率并增强结果的可解释性。在应用场景上,无论是金融风控、电商推荐还是科学计算,高质量的数据预处理都是构建可靠模型的基石。本文聚焦于实战中缺失值处理、异常值检测等具体技术,并深入探讨如何利用Scikit-learn的Pipeline构建自动化、可复现的预处理流水线

weixin_29053577的博客 302

开源项目-智能算法中台管理系统

智能算法中台管理系统,系统主要有样本中心,算法中心,模型中心等模块

u010479989的博客 3004

基于深度学习的图像识别技术在农业领域中的应用

是识别"病害种类"还是"病害严重度分级"?前者是分类,后者常需分割或分级回归。是叶片级(离体叶片图像)、植株级(田间单株)、地块级(无人机俯拍)?视角不同,模型差异巨大。实时无人机巡检可能要求 < 50 ms/帧(Jetson Orin),而离线测报可接受秒级推理。类别标签、结构化 JSON、GIS 图斑、报警事件?

AI天才研究院 2176

Python机器学习:Scikit-learn简单使用包含聚类、分类、降维、回归

本文基于skikit-learn,使用了回归、分类、聚合、降维等多种方法。旨在对过往学习的总结回顾。方法或许不太贴切,仅力求技术正确。

leimuguanaq的博客 1954

【OpenAI】Python:(1) 基于 Gym-CarRacing 的自动驾驶项目 | 前置知识介绍 | 项目环境准备 | 手把手带你一步步实现

本篇是关于多伦多大学自动驾驶专业项目 Gym-CarRacing 的博客。GYM-Box2D CarRacing 是一种在 OpenAI Gym 平台上开发和比较强化学习算法的模拟环境。它是流行的 Box2D 物理引擎的一个版本,经过修改以支持模拟汽车在赛道上行驶的物理过程。由于内容比较多所以分多次更新,本篇是关于前置知识介绍,以及项目环境准备的。

有道无术, 术尚可求。有术无道, 止于术。 5054

Python数据分析工具: Scikit-learn用法示例

以下是一个关于Scikit-learn用法的基本示例,涵盖了数据加载、预处理、模型训练和评估等步骤。分类:Scikit-learn提供了多种分类算法,如支持向量机(SVM)、逻辑回归、随机森林、决策树等。除了简单的线性回归外,Scikit-learn还支持许多其他类型的机器学习算法,如分类、聚类、降维等。模型选择:Scikit-learn提供了交叉验证、网格搜索等模型选择工具,用于选择最佳的模型和参数。数据预处理:除了特征缩放外,Scikit-learn还提供了数据清洗、编码、转换等预处理工具。

2401_85737382的博客 1561

微调实操一: 增量预训练(Pretraining)

《微调入门篇:大模型微调的理论学习》我们对大模型微调理论有了基本了解,这篇结合我们现实中常见的场景,进行大模型微调实操部分的了解和学习,之前我有写过类似的文章《实践篇:大模型微调增量预训练实践(二)》利用的MedicalGPT的源码在colab进行操作, 由于MedicalGPT代码比较难以理解,而且模型只能从hugging face上下载,对于一些国内服务器无法访问,我重构了代码,让训练代码更有可读性,并参考LLAMAFactory的项目,增加了modelscope上下载模型,轻松在国内服务器运行.

youbingchen的博客 6994

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

Python进行数据分析(详细教程)

Python是一门动态的、面向对象的脚本语言,同时也是一门简约,通俗易懂的编程语言。Python入门简单,代码可读性强,一段好的Python代码,阅读起来像是在读一篇外语文章。Python这种特性称为“伪代码”,它可以使你只关心完成什么样的工作任务,而不是纠结于Python的语法。

weixin_72959097的博客 3083

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

大数据教程【05.01】--Python 数据分析简介

这只是大数据分析的一个简单示例,实际应用中可能涉及更复杂的数据分析和建模技术。Python是一种功能强大且易于使用的编程语言,具备丰富的数据分析库和工具。在数据分析中,数据探索和可视化是非常重要的步骤。这有助于我们了解数据的分布、关系和趋势。在这个示例中,我们删除了大于100的异常值。函数用于计算数据的描述统计信息,包括计数、均值、标准差、最小值、25%分位数、中位数、75%分位数和最大值。异常值是与其他值相比明显不同的值。一旦我们完成了数据清洗、预处理、探索和可视化,我们可以进行数据分析和建模。

qwert 1470

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

python数据分析报告+代码,python简单数据分析代码

Python 是一种流行的编程语言,也是一种广泛使用的数据分析工具。Python 提供了许多强大的库和工具,可以帮助我们进行数据分析、数据可视化、机器学习和深度学习等领域的研究和应用。NumPy:提供了高效的数值计算和矩阵运算工具。Pandas:提供了高效、灵活和可扩展的数据结构,能够帮助我们进行数据的清洗、转换、分析和可视化。Matplotlib:提供了丰富的数据可视化工具,可以帮助我们创建各种类型的图表和图形。Seaborn:基于 Matplotlib,提供了更加高级和美观的数据可视化工具。

YYmmsss的博客 942

用python做数据分析代码,python数据分析案例教程

Python 是一种流行的编程语言,也是一种广泛使用的数据分析工具。Python 提供了许多强大的库和工具,可以帮助我们进行数据分析、数据可视化、机器学习和深度学习等领域的研究和应用。NumPy:提供了高效的数值计算和矩阵运算工具。Pandas:提供了高效、灵活和可扩展的数据结构,能够帮助我们进行数据的清洗、转换、分析和可视化。Matplotlib:提供了丰富的数据可视化工具,可以帮助我们创建各种类型的图表和图形。Seaborn:基于 Matplotlib,提供了更加高级和美观的数据可视化工具。

M3666789的博客 939

Python中的数据分析和数据处理

随着大数据时代的到来,数据分析和处理变得越来越重要。Python作为一种功能强大的编程语言,广泛应用于数据分析和处理领域。本文将介绍Python中数据分析和处理的相关概念、常用库和工具,以及一些实际应用案例。一、Python在数据分析和处理中的优势Python在数据分析和处理方面具有显著的优势。首先,Python语法简单明了,易于学习和使用。其次,Python拥有丰富的第三方库和工具,如NumPy、Pandas、Matplotlib等,这些库提供了强大的数据处理和分析功能。

weixin_68789096的博客 1140
上一篇: Learning to rank基本算法小结
下一篇: (视频+源码)助力年后跳槽:对标阿里P8的大数据开发全套教程
Wang_AI
博客等级 码龄12年 998粉丝 162原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值