推荐系统那点事 —— 基于Spark MLlib的特征选择

最新推荐文章于 2025-07-06 10:08:54 发布
转载 最新推荐文章于 2025-07-06 10:08:54 发布 · 483 阅读 · 0

介绍了Spark MLlib中的三种特征选择方法：VectorSlicer、RFormula和ChiSqSelector，并详细解释了各自的适用场景和使用方法。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在机器学习中，一般都会按照下面几个步骤：特征提取、数据预处理、特征选择、模型训练、检验优化。那么特征的选择就很关键了，一般模型最后效果的好坏往往都是跟特征的选择有关系的，因为模型本身的参数并没有太多优化的点，反而特征这边有时候多加一个或者少加一个，最终的结果都会差别很大。

在SparkMLlib中为我们提供了几种特征选择的方法，分别是VectorSlicer、RFormula和ChiSqSelector。

下面就介绍下这三个方法的使用,强烈推荐有时间的把参考的文献都阅读下，会有所收获！

VectorSlicer

这个转换器可以支持用户自定义选择列，可以基于下标索引，也可以基于列名。

  • 如果是下标都可以使用setIndices方法
  • 如果是列名可以使用setNames方法。使用这个方法的时候，vector字段需要通过AttributeGroup设置每个向量元素的列名。
注意1：可以同时使用setInices和setName
object VectorSlicer {
  def main(args: Array[String]) {
    val conf = new SparkConf().setAppName("VectorSlicer-Test").setMaster("local[2]")
    val sc = new SparkContext(conf)
    sc.setLogLevel("WARN")
    var sqlContext = new SQLContext(sc)

    val data = Array(Row(Vectors.dense(-2.0, 2.3, 0.0,1.0,2.0)))

    val defaultAttr = NumericAttribute.defaultAttr
    val attrs = Array("f1", "f2", "f3","f4","f5").map(defaultAttr.withName)
    val attrGroup = new AttributeGroup("userFeatures", attrs.asInstanceOf[Array[Attribute]])

    val dataRDD = sc.parallelize(data)
    val dataset = sqlContext.createDataFrame(dataRDD, StructType(Array(attrGroup.toStructField())))

    val slicer = new VectorSlicer().setInputCol("userFeatures").setOutputCol("features")

    slicer.setIndices(Array(0)).setNames(Array("f2"))
    val output = slicer.transform(dataset)
    println(output.select("userFeatures", "features").first())
  }
}
注意2：如果下标和索引重复，会报重复的错：

比如:

slicer.setIndices(Array(1)).setNames(Array("f2"))

那么会遇到报错

Exception in thread "main" java.lang.IllegalArgumentException: requirement failed: VectorSlicer requires indices and names to be disjoint sets of features, but they overlap. indices: [1]. names: [1:f2]
    at scala.Predef$.require(Predef.scala:233)
    at org.apache.spark.ml.feature.VectorSlicer.getSelectedFeatureIndices(VectorSlicer.scala:137)
    at org.apache.spark.ml.feature.VectorSlicer.transform(VectorSlicer.scala:108)
    at xingoo.mllib.VectorSlicer$.main(VectorSlicer.scala:35)
    at xingoo.mllib.VectorSlicer.main(VectorSlicer.scala)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:497)
    at com.intellij.rt.execution.application.AppMain.main(AppMain.java:144)
注意3：如果下标不存在
slicer.setIndices(Array(6))

如果数组越界也会报错

Exception in thread "main" java.lang.ArrayIndexOutOfBoundsException: 6
    at org.apache.spark.ml.feature.VectorSlicer$$anonfun$3$$anonfun$apply$2.apply(VectorSlicer.scala:110)
    at org.apache.spark.ml.feature.VectorSlicer$$anonfun$3$$anonfun$apply$2.apply(VectorSlicer.scala:110)
    at scala.collection.TraversableLike$$anonfun$map$1.apply(TraversableLike.scala:244)
    at scala.collection.TraversableLike$$anonfun$map$1.apply(TraversableLike.scala:244)
    at scala.collection.IndexedSeqOptimized$class.foreach(IndexedSeqOptimized.scala:33)
    at scala.collection.mutable.ArrayOps$ofInt.foreach(ArrayOps.scala:156)
    at scala.collection.TraversableLike$class.map(TraversableLike.scala:244)
    at scala.collection.mutable.ArrayOps$ofInt.map(ArrayOps.scala:156)
    at org.apache.spark.ml.feature.VectorSlicer$$anonfun$3.apply(VectorSlicer.scala:110)
    at org.apache.spark.ml.feature.VectorSlicer$$anonfun$3.apply(VectorSlicer.scala:109)
    at scala.Option.map(Option.scala:145)
    at org.apache.spark.ml.feature.VectorSlicer.transform(VectorSlicer.scala:109)
    at xingoo.mllib.VectorSlicer$.main(VectorSlicer.scala:35)
    at xingoo.mllib.VectorSlicer.main(VectorSlicer.scala)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:497)
    at com.intellij.rt.execution.application.AppMain.main(AppMain.java:144)
注意4：如果名称不存在也会报错
Exception in thread "main" java.lang.IllegalArgumentException: requirement failed: getFeatureIndicesFromNames found no feature with name f8 in column StructField(userFeatures,org.apache.spark.mllib.linalg.VectorUDT@f71b0bce,false).
    at scala.Predef$.require(Predef.scala:233)
    at org.apache.spark.ml.util.MetadataUtils$$anonfun$getFeatureIndicesFromNames$2.apply(MetadataUtils.scala:89)
    at org.apache.spark.ml.util.MetadataUtils$$anonfun$getFeatureIndicesFromNames$2.apply(MetadataUtils.scala:88)
    at scala.collection.TraversableLike$$anonfun$map$1.apply(TraversableLike.scala:244)
    at scala.collection.TraversableLike$$anonfun$map$1.apply(TraversableLike.scala:244)
    at scala.collection.IndexedSeqOptimized$class.foreach(IndexedSeqOptimized.scala:33)
    at scala.collection.mutable.ArrayOps$ofRef.foreach(ArrayOps.scala:108)
    at scala.collection.TraversableLike$class.map(TraversableLike.scala:244)
    at scala.collection.mutable.ArrayOps$ofRef.map(ArrayOps.scala:108)
    at org.apache.spark.ml.util.MetadataUtils$.getFeatureIndicesFromNames(MetadataUtils.scala:88)
    at org.apache.spark.ml.feature.VectorSlicer.getSelectedFeatureIndices(VectorSlicer.scala:129)
    at org.apache.spark.ml.feature.VectorSlicer.transform(VectorSlicer.scala:108)
    at xingoo.mllib.VectorSlicer$.main(VectorSlicer.scala:35)
    at xingoo.mllib.VectorSlicer.main(VectorSlicer.scala)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:497)
    at com.intellij.rt.execution.application.AppMain.main(AppMain.java:144)
注意5：经过特征选择后，特征的顺序与索引和名称的顺序相同

RFormula

这个转换器可以帮助基于R模型，自动生成feature和label。比如说最常用的线性回归，在先用回归中，我们需要把一些离散化的变量变成哑变量，即转变成onehot编码，使之数值化，这个我之前的文章也介绍过，这里就不多说了。

如果不是用这个RFormula，我们可能需要经过几个步骤：

StringIndex...OneHotEncoder...

而且每个特征都要经过这样的变换，非常繁琐。有了RFormula，几乎可以一键把所有的特征问题解决。

id coutry hour clicked
7 US 18 1.0
8 CA 12 0.0
9 NZ 15 0.0

然后我们只要写一个类似这样的公式clicked ~ country + hour + my_test，就代表clicked为label，coutry、hour、my_test是三个特征

比如下面的代码：

object RFormulaTest {
  def main(args: Array[String]) {
    val conf = new SparkConf().setAppName("RFormula-Test").setMaster("local[2]")
    val sc = new SparkContext(conf)
    sc.setLogLevel("WARN")
    var sqlContext = new SQLContext(sc)

    val dataset = sqlContext.createDataFrame(Seq(
      (7, "US", 18, 1.0,"a"),
      (8, "CA", 12, 0.0,"b"),
      (9, "NZ", 15, 0.0,"a")
    )).toDF("id", "country", "hour", "clicked","my_test")
    val formula = new RFormula()
      .setFormula("clicked ~ country + hour + my_test")
      .setFeaturesCol("features")
      .setLabelCol("label")
    val output = formula.fit(dataset).transform(dataset)
    output.show()
    output.select("features", "label").show()
  }
}

得到的结果

+---+-------+----+-------+-------+------------------+-----+
| id|country|hour|clicked|my_test|          features|label|
+---+-------+----+-------+-------+------------------+-----+
|  7|     US|  18|    1.0|      a|[0.0,0.0,18.0,1.0]|  1.0|
|  8|     CA|  12|    0.0|      b|[1.0,0.0,12.0,0.0]|  0.0|
|  9|     NZ|  15|    0.0|      a|[0.0,1.0,15.0,1.0]|  0.0|
+---+-------+----+-------+-------+------------------+-----+

+------------------+-----+
|          features|label|
+------------------+-----+
|[0.0,0.0,18.0,1.0]|  1.0|
|[1.0,0.0,12.0,0.0]|  0.0|
|[0.0,1.0,15.0,1.0]|  0.0|
+------------------+-----+

ChiSqSelector

这个选择器支持基于卡方检验的特征选择，卡方检验是一种计算变量独立性的检验手段。具体的可以参考维基百科，最终的结论就是卡方的值越大，就是我们越想要的特征。因此这个选择器就可以理解为，再计算卡方的值，最后按照这个值排序，选择我们想要的个数的特征。

代码也很简单

object ChiSqSelectorTest {
  def main(args: Array[String]) {
    val conf = new SparkConf().setAppName("ChiSqSelector-Test").setMaster("local[2]")
    val sc = new SparkContext(conf)
    sc.setLogLevel("WARN")
    var sqlContext = new SQLContext(sc)

    val data = Seq(
      (7, Vectors.dense(0.0, 0.0, 18.0, 1.0), 1.0),
      (8, Vectors.dense(0.0, 1.0, 12.0, 0.0), 0.0),
      (9, Vectors.dense(1.0, 0.0, 15.0, 0.1), 0.0)
    )

    val beanRDD = sc.parallelize(data).map(t3 => Bean(t3._1,t3._2,t3._3))
    val df = sqlContext.createDataFrame(beanRDD)

    val selector = new ChiSqSelector()
      .setNumTopFeatures(2)
      .setFeaturesCol("features")
      .setLabelCol("clicked")
      .setOutputCol("selectedFeatures")

    val result = selector.fit(df).transform(df)
    result.show()
  }

  case class Bean(id:Double,features:org.apache.spark.mllib.linalg.Vector,clicked:Double){}
}

这样得到的结果：

+---+------------------+-------+----------------+
| id|          features|clicked|selectedFeatures|
+---+------------------+-------+----------------+
|7.0|[0.0,0.0,18.0,1.0]|    1.0|      [18.0,1.0]|
|8.0|[0.0,1.0,12.0,0.0]|    0.0|      [12.0,0.0]|
|9.0|[1.0,0.0,15.0,0.1]|    0.0|      [15.0,0.1]|
+---+------------------+-------+----------------+

总结

下面总结一下三种特征选择的使用场景：

  • VectorSilcer，这个选择器适合那种有很多特征，并且明确知道自己想要哪个特征的情况。比如你有一个很全的用户画像系统，每个人有成百上千个特征，但是你指向抽取用户对电影感兴趣相关的特征，因此只要手动选择一下就可以了。
  • RFormula，这个选择器适合在需要做OneHotEncoder的时候，可以一个简单的代码把所有的离散特征转化成数值化表示。
  • ChiSqSelector，卡方检验选择器适合在你有比较多的特征，但是不知道这些特征哪个有用，哪个没用，想要通过某种方式帮助你快速筛选特征，那么这个方法很适合。

以上的总结纯属个人看法，不代表官方做法，如果有其他的见解可以留言~ 多交流！

参考

1 Spark特征处理

2 Spark官方文档

3 如何优化逻辑回归

4 数据挖掘中的VI和WOE

5 Spark卡方选择器

6 卡方分布

7 皮尔逊卡方检验

8 卡方检验原理

【推荐系统】特征选择(单变量特征选择和基于模型的特征选择)
m0_51933492的博客
09-15 1215
单变量特征选择能够对每一个特征进行测试，衡量该特征和响应变量之间的关系，根据得分丢弃不好的特征。单变量特征选择这种方法比较简单，易于运行，易于理解。
「推荐系统特征工程」06. 特征选择
大数据与人工智能
09-04 571
作者 |gongyouliu编辑|gongyouliu我们在上一章中讲到了特征构建。通过特征构建可以从已知的数据样本中获得对问题进行建模的数学化的对象（即向量）。针对具体的业务问题，我们可以采用不同的模型来（近似）描述现实世界，不同的模型对数据的要求是不一样的，当尝试或者选定了合适的模型时，我们就需要从已有的特征中选择合适的特征来训练模型（有时特征不够，还要进行构建新特征或者特征处理、增强等...
基于Spark+Mlib的智能推荐系统设计与实现毕业项目
最新发布
weixin_33557333的博客
07-06 846
Apache Spark 被定义为一个快速的分布式计算系统，它以 Scala 语言编写，但同时也支持 Java、Python 和 R 等语言。Spark 在处理速度、易用性、容错性以及计算模型等多个方面展现出了它独特的特性。它提供了一个高层次的 API 来简化并行任务的编写，并且允许数据在内存中处理，以提高计算速度。Spark 的特性主要体现在以下几个方面：高性能：通过基于内存的计算，提高了大规模数据处理的速度。易用性：具有简洁易懂的API，使得开发者能够更容易地构建并行应用。
个性化推荐系统中的用户建模及特征选择
12-24
个性化推荐系统中的用户建模及特征选择个性化推荐系统中的用户建模及特征选择
基于Spark的电影推荐系统
04-17
本课程论文阐述了spark和spark集成开发环境Intellij IDEA的安装与操作，也详细说明了基于Spark的电影推荐系统的开发流程。推荐引擎是最常用的机器学校应用，我们可以在各大购物网站上看到这方面的应用。基于Spark的电影推荐系统是使用Spark MLlib的ALS推荐算法，对会员电影评分数据和观看记录的数据构建协同过滤式的推荐引擎，对历史数据进行训练创建模型进行针对用户推荐电影和针对电影推荐用户的推荐功能，由此来增加会员观看电影的次数。
创新实训（39）——学习基于Spark MLlib包的ALS推荐算法
baidu_41871794的博客
06-25 1832
前言 项目的后端工作已经差不多基本完成，这几天主要的工作都是在修复之前遗留下来的bug，并且优化代码的设计，在项目开始的时候，就想着基于Spark来进行推荐系统的设计，后来在项目开展的过程中，发现了Mohout这个推荐引擎，这个引擎的调用非常简单，可以自动的构建模型，计算相似度，然后进行推荐，也可以方面的扩展到Hadoop集群上，所以开始就是用Mohout实现了基于用户的协同过滤推荐，和基于物品的协同过滤推荐，今天想着来用Spark的MLlib库的ALS推荐算法训练模型，然后实现推荐。 Spark简介 大数
基于大数据的餐饮推荐系统，整体采用Lambda架构，读取餐饮评分数据并通过Spark的MLlib中的ALS建立推荐模型后进行推荐
04-18
《基于大数据的餐饮推荐系统——探索Lambda架构与Spark MLlib ALS模型》 在现代数字化时代，餐饮行业的竞争日益激烈，个性化推荐已经成为提升客户满意度、增强用户粘性的重要手段。本篇将深入探讨一种基于大数据的...
spark mllib 协同过滤推荐算法（ALS) python 实现 完整实例程序
03-07
在本实例中，我们将探讨如何使用 PySpark（Python 接口）实现基于 MLlib 的协同过滤推荐算法——交替最小二乘法（Alternating Least Squares, ALS），用于用户和物品的推荐。 协同过滤是推荐系统中最常用的方法之一...
mllib逻辑回归 spark_Spark MLlib学习——分类和回归
weixin_33997566的博客
01-13 614
本章节介绍了分类和回归的算法。它还包括讨论特定类别的算法部分，如：线性方法，树和集成。下面是整个API Doc中的内容框架，这里不会每个都详细介绍，主要会把用到的介绍出来，后续用到的再陆续添加。(下面的链接都是指向官网文档而不是本笔记中的对应内容所在位置，而且有些内容没有出现在本笔记中)逻辑回归逻辑回归是预测分类问题的流行算法。它是 广义线性模型的一个特例来预测结果的可能性。 在spark.ml逻...
Spark Mllib 下的决策树二元分类 —— 网站分类(2)
12-21
本篇主要探讨了在 Spark Mllib 库下如何实现决策树进行二元分类，并以网站分类为例，介绍了模型评估的重要指标——AUC（Area under the Curve of ROC）。 决策树是一种基于树形结构进行预测的算法，它通过不断分裂...
sparkmllib 推荐系统实现（学习）
controller_Lw的博客
12-19 802
sparkmllib 推荐系统实现
推荐系统初学者系列（1）-- 基于特征的推荐算法
私人天地
04-21 4153
目录 目录 1. 推荐算法准确度度量公式： 2. 集合相似度度量公式(N维向量的距离度量公式)： 2.1Jaccard公式： 2.2余弦相似度公式： 3. UserCF公式： 4. ItemCF公式： 5. LFM公式： 6. TagCF公式： 7. 关系链推荐公式： 8. 信息流推荐公式： 9. 推荐算法小结 推荐系统架构 1. 推荐算法准确度度量公式： Rec...
spark ml之推荐系统实现
weixin_39031707的博客
08-23 552
//查看下给定列个值得一个基本信息,例如数量 平均值 最大值 最小值 中位数这些基本描述 rating.describe("userId","movieId","rating").show } } 查看数据的平均值 中位数 最大值,最小值,对数据有个最基本的认识 将数据分文三部分:训练集 验证集 测试集 val splits = rating.randomSplit(Array(0.6,0.2,0.2),seed=1234)// 1234为随机种子,为了保证每次的验证结果相同 ...
Spark入门实战系列--8.Spark MLlib（上）--机器学习及SparkMLlib简介
yirenboy的专栏
09-11 8771
- “机器学习是一门人工智能的科学，该领域的主要研究对象是人工智能，特别是如何在经验学习中改善具体算法的性能”。 - “机器学习是用数据或以往的经验，以此优化计算机程序的性能标准。” 一种经常引用的英文定义是：A computer program is said to learn from experience E with respect to some class of tasks T and perform
【Spark】分类和回归算法-分类
buracag_mc的博客
09-03 1339
同步于Buracag的博客 本节主要讲Spark ML中关于分类算法的实现。示例的算法Demo包含：LR、DT、RF、GBTs、多层感知器、线性支持向量机、One-vs-Rest分类器以及NB等。 文章目录1. Logistic regression1.1 二分类LR1.2 多分类LR2. 决策树分类器3. 随机森林分类器4. 梯度提升树分类器5. 多层感知器分类器6. 线性支持向量机7. One...
16、SparkMl的简单使用
weixin_42960808的博客
12-04 394
SparkMl使用的不多，一两年前业务上需要就用了一下，之后就没再使用了，最近又有需求了，使用SparkMl做了一下时序预测，先在这一篇笔记里记录一下之前使用SparkMl的简单应用。这个案例使用的是随机森林模型。
spark.ml支持算法总结
leemusk的博客
12-18 3159
一、分类 1、Logistic regression 1.1 适用的数据 逻辑回归通常用于处理自变量是连续变量，因变量是分类变量的回归问题。 1.2 代码机器结果
【Spark】(task8)SparkML中的pipeline通道建立
发现问题，并解决问题，批判性思维
06-10 1247
如果样本较少，可以直接使用python对样本进行ML建模，但当需要大规模数据集时，可以使用spark进行分布式内存计算，虽然spark的原生语言是scala，但如果用python写可以用pyspark进行机器学习的pipeline链路建立。...
基于spark的推荐系统python mllib
06-16
### 使用 Python Spark MLlib 构建推荐系统 构建基于 Spark 的推荐系统可以使用 Apache Spark 的 MLlib 库。MLlib 提供了多种机器学习算法，其中包括用于推荐系统的协同过滤（Collaborative Filtering）算法——ALS（Alternating Least Squares）。以下是实现推荐系统的详细方法和示例代码。 #### 1. 数据预处理 在构建推荐系统之前，需要对数据进行预处理。可以使用 `VectorAssembler` 将特征组合成一个向量[^5]。此外，还可以利用 Spark MLlib 提供的特征工程器（FeatureTransformer）来完成更复杂的预处理任务[^4]。 ```python from pyspark.ml.feature import VectorAssembler # 假设数据集包含用户ID、物品ID和评分 data = [(0, 0, 4.0), (0, 1, 2.0), (1, 1, 3.0), (1, 2, 4.0), (2, 1, 2.0), (2, 2, 3.0)] columns = ["userId", "movieId", "rating"] # 创建DataFrame df = spark.createDataFrame(data, columns) # 使用VectorAssembler将特征组合成一个向量 assembler = VectorAssembler(inputCols=["userId", "movieId"], outputCol="features") output = assembler.transform(df) ``` #### 2. 模型训练 使用 ALS 算法训练推荐模型。ALS 是一种基于矩阵分解的协同过滤算法，适用于大规模稀疏数据集[^2]。 ```python from pyspark.ml.recommendation import ALS # 初始化ALS模型 als = ALS(userCol="userId", itemCol="movieId", ratingCol="rating", coldStartStrategy="drop") # 训练模型 model = als.fit(output) ``` #### 3. 模型评估 为了评估模型性能，可以将数据集划分为训练集和测试集，并计算预测结果的误差指标，例如均方根误差（RMSE）[^3]。 ```python # 将数据集划分为训练集和测试集 train, test = df.randomSplit([0.8, 0.2]) # 在训练集上训练模型 model = als.fit(train) # 在测试集上生成预测 predictions = model.transform(test) # 计算RMSE from pyspark.ml.evaluation import RegressionEvaluator evaluator = RegressionEvaluator(metricName="rmse", labelCol="rating", predictionCol="prediction") rmse = evaluator.evaluate(predictions) print(f"Root-mean-square error = {rmse}") ``` #### 4. 推荐生成 训练完成后，可以为用户生成推荐列表。 ```python # 为所有用户生成前3个推荐 userRecs = model.recommendForAllUsers(3) userRecs.show() ``` ### 注意事项 - 数据预处理是推荐系统成功的关键步骤之一。可以使用 Spark MLlib 提供的工具来优化这一过程[^4]。 - 模型参数的选择会影响推荐系统的性能。可以通过调整超参数（如正则化参数、隐因子数量等）来优化模型[^4]。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值