Spark 实现Apriori

最新推荐文章于 2020-12-24 11:19:07 发布

hhtop112408

最新推荐文章于 2020-12-24 11:19:07 发布

阅读量2k

点赞数

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/hhtop112408/article/details/82970211

该博客详细介绍了如何使用Spark实现Apriori算法，讨论了算法在不同支持度设置下的性能，并提供了优化建议。文章包含代码示例，展示了从数据处理到频繁项集挖掘的过程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Spark实现Apriori算法，Apriori算法如果支持度高那么效果会很好，如果支持度设置的低，性能会比较差。

1：createNewItemsetsFromPreviousOnes需要优化，没有想清楚。

2：结果没有转换正确的ID，API可以优化成泛型。

3：原理不复杂，代码看看就全懂了。

代码

import java.io.Serializable;
import java.util.ArrayList;
import java.util.Arrays;
import java.util.HashMap;
import java.util.List;
import java.util.Map;
import java.util.regex.Pattern;

import org.apache.spark.api.java.JavaPairRDD;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.mllib.linalg.Vector;
import org.apache.spark.mllib.linalg.Vectors;

import scala.Tuple2;

/**
*
*/

public class SparkApriori implements Serializable
{

   private static final Pattern SPACE = Pattern.compile( "\\s+" );
   private double minSupport;
   private int itemsetNumber;

   public SparkApriori( double minSupport )
   {
       super( );
       this.minSupport = minSupport;
   }

   public void run( JavaRDD<String> data )
   {
       final long count = data.count( );
       JavaPairRDD<String, Long> pairs = data.flatMap( s ->
       {
           List<Tuple2<String, Long>> list = new ArrayList<Tuple2<String, Long>>( );
           String[] strs = SPACE.split( s );
           // return new Tuple2<String, Long>(str);
           for ( String str : strs )
           {
               list.add( new Tuple2<String, Long>( str, 1L ) );
           }
           return list;
       } ).mapToPair( s -> s ).aggregateByKey( 0L, ( s1, s2 ) -> s1 + s2, ( s1,
               s2 ) -> s1 + s2 );

       JavaPairRDD<String, Long> itemWithIndex = pairs.map( s -> s._1 ).zipWithIndex( );
       List<Tuple2<String, Long>> items = itemWithIndex.collect( );
       final Map<String, Long> map = itemWithIndex.collectAsMap( );

       System.out.println( map );
       final int elemtnCount = ( (Long) pairs.count( ) ).intValue( );

       Vector v = Vectors.dense( null );
       JavaRDD<SparseBooleanArray> rdd = data.map( s ->
       {

String[] strs = SPACE.split( s );
List<Long> list = new ArrayLis