SparkSql-redis：将查询到的结果保存到redis中

努力成为一名资深大数据选手

于 2020-12-08 21:59:38 发布

阅读量1.1k

点赞数

CC 4.0 BY-SA版权

分类专栏：大数据 spark

本文链接：https://blog.youkuaiyun.com/qq_50166024/article/details/110897617

该代码示例展示了如何使用Apache Spark处理CSV数据，计算总交易额、每个商品分类的交易额以及每个省份的交易总额，并将结果存储到Redis缓存中。数据包括商品ID、IP、商品类型、价格、省份等字段。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

2020.12.08号作业题

1.启动redis

redis-server /usr/local/redis/redis.conf

2.写代码

问题1.计算出总的成交量总额（结果保存到redis中）
问题2.计算每个商品分类的成交量（结果保存到redis中）
问题3.计算每个省份的成交总额（结果保存到redis）

object Work {
   
   
  def main(args: Array[String]): Unit = {
   
   
    Logger.getLogger("org").setLevel(Level.WARN)

    //1.连接redis
    val pool: JedisPool = new JedisPool(new GenericObjectPoolConfig, "qianfeng01", 6379)
    val jedis: Jedis = pool.getResource
    jedis.auth("123456")

    //2.拿到数据
    val spark: SparkSession = SparkSession.builder().appName("work").master("local").getOrCreate()
    import spark.implicits._
    val df: DataFrame = spark.read.format("csv").load("data/producer.csv")
    val df1: DataFrame = df.toDF("id", "ip", "producer", "type", "price","province")
    df1.printSchema()

    df1.createTempView("t1")

    //问题1.计算出总的成交量总额（结果保存到redis中）
    val sql=
      """
        |select sum(cast(price as int)) as sum
        |from t1
        |""".stripMargin
     //spark.sql(sql).show()
    val frame: DataFrame = spark.sql