Spark MLIB的Normalizer、StandardScaler、MinMaxScaler、RobustScaler这个特征处理方法有什么不同

最新推荐文章于 2025-09-21 21:04:24 发布
原创 最新推荐文章于 2025-09-21 21:04:24 发布 · 1.1k 阅读 · 5 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器学习 #spark #大数据

目录

 

一、特征处理方法

二、啥是特征处理

三、Spark ML中常见算子释义

3.1 Normalizer

3.2 StandardScaler

3.3 MinMaxScaler

3.4 RobustScaler计算方法

一、特征处理方法

机器学习当中最重要的就是寻找数据的特征，给数据打标签。那么在SparkMLIB中提供了package org.apache.spark.ml.feature，包中封装了众多feature算子。今天剖析一下题目中的几个算子。

二、啥是特征处理

特征整体上就两类：一类是不可以用数字标识的特征：例如天气、喜好、心情、上下文等；另一类是可以用数值进行表述的特征，例如年龄、体温、价格等。那么特征处理又是个啥意思呢，通俗的说就有很多条数据，需要给这些数据对应的标识，当然如何标识的过程也是一个值得深入的问题。

下面可以画一个图来示意一下，啥是特征处理。

最后呢，根据特征列表梳理出来了小A的特征信息。

三、Spark ML中常见算子释义

3.1 Normalizer

Normalizer是SparkML中的正则函数。那么Normalizer描述的是向量在数域空间上的长度。

下面的式子，先计算出基本的向量范式。

\left \|x _{p} \right \|=\left ( {|x_{1}|}^{p}+{|x_{2}|}^{p}+... +{|x_{n}|}^{p}\right )^{\frac{1}{p}}

在此范式，求出向量的表达：

最低0.47元/天 解锁文章
Spark MLlib 特征工程系列—特征提取 TF-IDF
08-15 1万+
TF-IDF 是文本分类、聚类、信息检索等任务中的一种常见特征提取方法。通过降低常见词汇的权重，TF-IDF 能够更有效地捕捉那些对文档区分度更高的词汇，从而提高模型的效果。IDF 是 TF-IDF 中的重要组成部分，用于调整词频，以减少常见词对文本分析任务的影响。在 Spark 中，可以结合 HashingTF 或 CountVectorizer 来计算 TF-IDF 特征，进而用于各种机器学习任务。
Spark MLlib 特征工程系列—特征提取CountVectorizer
热门推荐
08-15 1万+
CountVectorizer的优点是，简单易用：易于理解和实现，适用于基本的文本分类任务。可解释性强：生成的特征向量中的每一维度对应词汇表中的一个词汇，易于解释。缺点是维度高：词汇表的大小可能很大，导致特征向量的维度非常高，可能需要处理大量的特征。稀疏矩阵：生成的特征向量通常是稀疏的，存储和计算上可能会浪费资源。无法捕捉词语顺序：CountVectorizer 只关注词的出现次数，忽略了词语的顺序和上下文信息。CountVectorizer 是一种将文本数据转换为特征向量的技术，通过统计词频来生成特征。
Spark机器学习库MLlib介绍及实践
liqinkuaia的博客
01-04 1831
Spark MLlib是Apache Spark的机器学习库，提供了常见的机器学习算法和实用程序，包括分类、回归、聚类、协同过滤等。此外，MLlib还提供了丰富的特征处理和模型评估工具，方便用户进行模型调优和性能评估。随着大数据技术的不断发展，机器学习作为数据处理和分析的重要手段，也得到了广泛的关注和应用。Apache Spark作为一个高效、通用的大数据处理框架，提供了丰富的机器学习库MLlib，为用户进行大规模机器学习提供了便利。接着使用训练集对模型进行了训练和性能评估，并输出了训练误差。
Spark MLlib简介与机器学习流程
日常分享数据分析开发、编程语言内容
01-06 1963
Spark MLlib是Apache Spark的机器学习库，旨在简化大规模数据的机器学习任务。它提供了一系列机器学习算法和工具，可用于分类、回归、聚类、推荐和降维等任务。Spark MLlib是Spark的一个扩展库，允许在分布式集群上执行机器学习任务，从而能够处理大规模数据。Spark MLlib是一个强大的机器学习库，可以在大规模数据处理环境中进行机器学习任务。本文介绍了机器学习流程的基本步骤，并提供了示例代码演示了如何使用Spark MLlib进行线性回归。
StandardScaler，MinMaxScaler等四个内置归一化函数学习
最新发布
brightendavid的博客
09-21 1091
尊敬的组织，事情的经过是这样的：。。。。。。自己写了一下归一化函数，跑一个线性神经网络爬出来一坨，想来想去肯定是归一化函数的问题。还是调用方便。
Spark中的机器学习库MLlib是什么？请解释其作用和常用算法。
jakelihua
09-11 1649
它提供了一组丰富的机器学习算法和工具，可以用于数据预处理、特征提取、模型训练和评估等任务。MLlib是基于Spark的分布式计算引擎构建的，可以处理大规模数据集，并利用分布式计算的优势来加速机器学习任务的执行。MLlib的设计目标是将机器学习算法与Spark的分布式计算框架无缝集成，以提供高性能和可伸缩性的机器学习解决方案。分类算法：MLlib提供了多种分类算法，如逻辑回归、决策树、随机森林、梯度提升树等。推荐算法：MLlib支持协同过滤算法，如基于用户的协同过滤、基于物品的协同过滤等。
大数据课程K12——Spark的MLlib概述
u013955758的专栏
08-28 1039
行矩阵是最基本的一种矩阵类型。Matrices.dense方法是矩阵重组的调用方法，第一个参数是新矩阵行数，第二个参数是新矩阵的列数，第三个参数为传入的数据值。MLlib是一个构建在Spark上的、专门针对大数据处理的并发式高速机器学习库，其特点是采用较为先进的迭代式、内存存储的分析计算，使得数据的计算处理速度大大高于普通的数据处理引擎。label是此数据集中每一行给定的标签，而后的index是标签所标注的这一行中的不同的索引值，而紧跟在各自index后的value是不同索引所形成的数据值。
厦大spark----Spark MLlib介绍
智慧与美貌并存
04-24 1743
来源：http://mocom.xmu.edu.cn/article/show/584816afe083c990247075a2/0/1 一、什么是机器学习 机器学习可以看做是一门人工智能的科学，该领域的主要研究对象是人工智能。机器学习利用数据或以往的经验，以此优化计算机程序的性能标准。一种经常引用的英文定义是： A computer program is said to l
Spark 归一化方法总结Normalizer、StandardScaler、MinMaxScaler
weixin_42155006的博客
08-19 2761
org.apache.spark.ml.feature包中包含了4种不同的归一化方法： Normalizer StandardScaler MinMaxScaler MaxAbsScaler 数据准备 注意函数对于要处理的数据格式要求是 val dataFrame = data.na.fill(0).rdd.map(a=>(a.getString(0),Vectors.dense(a.getLong(1),a.getLong(2),a.getLong(3),a.getLong(4)))).toDF("
sparkmlib算法使用有代码输入输出.docx
07-15
这些算法是构建在Apache Spark框架之上，旨在处理大数据集的分类和回归任务。 支持向量机（SVM）是一种二分类模型，其基本模型定义为特征空间上间隔最大的线性分类器，间隔最大使它有别于感知机；SVM还包括核技巧，...
Spark机器学习库（MLlib）指南
GarfieldEr007的专栏
07-18 6725
spark-1.6.1 机器学习库（MLlib）指南 MLlib是Spark的机器学习（ML）库。旨在简化机器学习的工程实践工作，并方便扩展到更大规模。MLlib由一些通用的学习算法和工具组成，包括分类、回归、聚类、协同过滤、降维等，同时还包括底层的优化原语和高层的管道API。 MLllib目前分为两个代码包： spark.mllib 包含基于RDD的原始算法API。s
SparkMllib
12-22
精确讲述了SparkML里面的一些算法用途以及综合算法的介绍
Spark MLlib
hxxjxw的博客
08-01 448
概述 、 传统的机器学习算法，会受到数据量的制约（一般是基于抽样，在大量数据中抽出一部分来进行训练） 现在有了大数据技术之后，我们可以不用再抽样数据进行机器学习，可以对整个全局数据进行机器学习。这得益于近几年出现的一些分布式计算框架 MLlib MLlib是一个基于海量数据的机器学习库。它提供了常用的机器学习算法的分布式实现，只需要调用它的接口 现在用spark.ml...
Spark MLLib
qq_37705525的博客
04-05 2865
Spark MLLib
spark之MLLIB
霜叶的博客
10-03 3076
一、MLlib简介 MLlib是Spark的机器学习（Machine Learning）库，旨在简化机器学习的工程实践工作，并方便扩展到更大规模。MLlib由一些通用的学习算法和工具组成，包括分类、回归、聚类、协同过滤、降维等，同时还包括底层的优化原语和高层的管道API。具体来说，其主要包括以下几方面的内容： 算法工具：常用的学习算法，如分类、回归、聚类和协同过滤； 特征化工具：特征提取、转化、降维，和选择工具； 管道(Pipeline)：用于构建、评估和调整机器学习管道的工具; 持久性：保存和加
StandardScaler和Normalizer和MinMaxScaler使用情况
pdn的博客
08-22 2629
#数据标准化 #StandardScaler (基于特征矩阵的列，将属性值转换至服从正态分布) #标准化是依照特征矩阵的列处理数据，其通过求z-score的方法，将样本的特征值转换到同一量纲下 #常用与基于正态分布的算法，比如回归 #数据归一化 #MinMaxScaler （区间缩放，基于最大最小值，将数据转换到0,1区间上的） #提升模型收敛速度，提升模型精度。因为以前在描述梯度下降的时候，如果...
Spark MLlib 简单介绍
程序员学习圈
01-14 1万+
1.机器学习介绍     机器学习(Machine Learning, ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。       机器学习算法是从数据中自动分析获得规律，并利用规律对未知数据进行预测的算法。   机器学习可分为以下几...
【Spark基础编程】 第8章 Spark MLlib
Lenhart001的博客
06-10 2853
机器学习可以看做是一门人工智能的科学，该领域的主要研究对象是人工智能。机器学习利用数据或以往的经验，以此优化计算机程序的性能标准。机器学习强调三个关键词：算法、经验、性能。
评论 2
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

大锤爱编程

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值