《Spark MLlib 机器学习》第二章代码

最新推荐文章于 2024-06-07 12:49:39 发布

sunbow0

最新推荐文章于 2024-06-07 12:49:39 发布

阅读量1.4w

点赞数 1

分类专栏： Spark Spark MLlib 文章标签： Spark mllib 机器学习

本文链接：https://blog.youkuaiyun.com/sunbow0/article/details/51134368

版权

本文提供《Spark MLlib 机器学习》第二章的代码示例，涵盖了Spark RDD的基本操作和样本生成过程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

《Spark MLlib 机器学习》第二章代码

2.1 Spark RDD 操作

import org.apache.log4j.{ Level, Logger }
import org.apache.spark.{ SparkConf, SparkContext }
import org.apache.spark.SparkContext._

object rdd_test01 {

  def main(args: Array[String]) {
    val conf = new SparkConf().setAppName("rdd_test01")
    val sc = new SparkContext(conf)
    Logger.getRootLogger.setLevel(Level.WARN)

    // 2.1节
    // 2.1.1 RDD 创建操作
    val data = Array(1, 2, 3, 4, 5, 6, 7, 8, 9)
    val distData = sc.parallelize(data, 3)

    val distFile1 = sc.textFile("data.txt") // 本地当前目录下的文件
    val distFile2 = sc.textFile("hdfs://192.168.1.100:9000/input/data.txt") // HDFS 文件
    val distFile3 = sc.textFile("file:/input/data.txt") // 本地指定目录下的文件
    val distFile4 = sc.textFile("/input/data.txt") // 本地指定目录下的文件

    // 2.1.2 RDD 转换操作
    val rdd1 = sc.parallelize(1 to 9, 3)
    val rdd2 = rdd1.map(x => x * 2)
    rdd2.collect

    val rdd3 = rdd2.filter(x => x > 10)
    rdd3.collect
    val rdd4 = rdd3.flatMap(x => x to 20)

    val rdd5 = rdd1.mapPartitions(myfunc)
    rdd5.collect

最低0.47元/天解锁文章