Spark之购物篮分析

最新推荐文章于 2025-02-18 20:22:24 发布

原创

最新推荐文章于 2025-02-18 20:22:24 发布

· 671 阅读

3 ·

版权

文章标签：

#spark

Spark之购物篮分析

关于购物篮分析，具体的思路可以看
Mapreduce之购物篮分析
以下是编写号的Spark程序

package MBA

import org.apache.spark.{SparkConf, SparkContext}

import scala.collection.mutable.ListBuffer

object MBA {
  def main(args: Array[String]): Unit ={
    val sparkConf=new SparkConf().setAppName("MBA").setMaster("local")
    val sc=new SparkContext(sparkConf)

    val input="input/mba.txt"
    val output="output"

    val transactions=sc.textFile(input)

    //生成频繁模式
    val patterns=transactions.flatMap(line=>{
      val items=line.split(",").toList
      (0 to items.size) flatMap items.combinations filter (xs=> !xs.isEmpty)
    }).map((_,1))
    //归约频繁模式
    val combined=patterns.reduceByKey(_+_)
    //生成所有子模式
    val subpatterns=combined.flatMap(pattern=>{
      val re