【Spark技术与实战】Spark+Scala对化妆品指标的计算处理

前言

我们知道，Spark是一个优秀的基于内存的计算框架，可以独立使用，也可以和Hadoop集成使用，可以使用Hadoop的yarn进行资源管理、可以读写hdfs文件，而且Spark 是在 Scala 语言中实现的，它将 Scala 用作其应用程序框架。与 Hadoop 不同，Spark 和 Scala 能够紧密集成，其中的 Scala 可以像操作本地集合对象一样轻松地操作分布式数据集。

项目要求

自行准备某个领域的数据（可以是电商商品数据、电商订单数据、影视数据、游戏数据、工业互联网数据、手机埋点数据、天气数据、股票数据、房地产数据等等，但不能选新能源车辆数据），并搜集/准备至少五个相关的统计指标，然后写Spark程序完成这些指标的计算。

一、数据集介绍

每当我想尝试新的化妆品时，都很难选择。实际上，这并不困难。有时会令人恐惧，因为我从未尝试过的新产品最终给我造成了皮肤困扰。我们将使用处理丝芙兰上1472种化妆品的成分进行指标统计。使用的阿里天池数据集链接如下：

https://tianchi.aliyun.com/dataset/92538/

二、指标介绍

• 计算价格范围。分别计算Price列的最小值、最大值、平均值和中位数。
• 分析品牌分布。根据Brand列分组，计算每个品牌的数量，并按照数量降序排序，取第一行作为最常见的品牌
• 分析适用皮肤类型分布。定义一个皮肤类型的标签列表，统计每个皮肤类型的数量，并构建一个“皮肤类型-数量”的映射表。
• 分析成分。对Ingredients列进行操作，按照成分进行分组，并统计每个成分出现的次数，最后按照次数降序排序，取第一行的成分作为最常见的成分
• 分析排名变化最大的品牌。选择Brand和Rank两列，使用sliding函数将连续的两行作为一对进行切片，计算两个排名之间的变化，获取最大的排名变化和对应的品牌。
• 判断排名变化方向。根据最大的排名变化，判断排名是上升还是下降。

三、项目实现流程

1.创建SparkSession

    val spark: SparkSession = SparkSession
      .builder()
      .appName("CosmeticsAnalysis")
      .master("local")
      .getOrCreate()

2.读取数据

读取数据集文件，并将DataFrame文件转成df

    // 设置CSV文件名
    val filename: String = "src/main/resources/cosmetics.csv"
    val df: DataFrame = spark.read
      .option("header", "true")
      .option("inferSchema", "true")