Spark Programming by Java——RDD基本操作

最新推荐文章于 2024-08-21 18:18:50 发布

原创最新推荐文章于 2024-08-21 18:18:50 发布 · 3.7k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#spark #java

Spark 专栏收录该内容

7 篇文章

订阅专栏

本文详细介绍了在Apache Spark中对RDD执行的基本操作，包括收集所有元素、计算元素数量、统计各元素出现频率等，并提供了相应的Scala及Java实现示例。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在一个内容为{1， 2， 3， 3}的RDD上进行的基本操作

函数名(表现形式为scala)	目的	示例	结果
collect()	返回RDD中的所有元素	rdd.example()	{1, 2, 3, 4}
count()	RDD中的元素数目	rdd.count()	4
countByValue()	RDD中每个元素的出现次数	rdd.countByValue()	{(1,1),(2,1),(3,2)}
take(num)	返回RDD中num个数量的元素	rdd.take(2)	{1,2}
top(num)	返回RDD中最大的num个元素	rdd.top(2)	{3,3}
takeOrdered(num)(ordering)	根据你给的排序方法返回一个元素序列	rdd.takeOrdered(2)(myOrdering)	{3, 3}
takeSample(withReplacement, num, [speed])	随机返回num个元素	rdd.takeSample(false, 1)	无值
reduce(func)	在一次遍历中合并RDD中所有的元素（例如，求和）	rdd.reduce((x, y) => x + y)	9
fold(zero)(func)	和reduce功能一样，但是提供一个初值	rdd.fold(0)((x, y) => x + y)	9
aggregate(zeroValue)(seqOp, comOp)	和reduce()函数类似，但是用于返回不同的数据类型	rdd.aggregate((0, 0)) ((x, y) =>(x._1 + y, x._2 + 1), (x, y) =>(x._1 + y._1, x._2 + y._2))	(9,4)
foreach(func)	将RDD中所有的元素都用于提供的方法	rdd.foreach(func)	nothing

Java实现基本代码

import java.util.Arrays;
import java.util.List;

import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.api.java.function.Function2;
import org.apache.spark.api.java.function.VoidFunction;

public class SimpleRDD {
    public static void main(String[] args) {
        SparkConf conf = new SparkConf().setMaster("local").setAppName("SimpleRDD");
        JavaSparkContext sc = new JavaSparkContext(conf);

        JavaRDD<Integer> rdd = sc.parallelize(Arrays.asList(1, 2, 3 ,3), 2);

        System.out.println("rdd collect" + rdd.collect());
        System.out.println("rdd count" + rdd.count());
        System.out.println("rdd countByValue" + rdd.countByValue());
        System.out.println("rdd take" + rdd.take(2));
        System.out.println("rdd top" + rdd.top(2));
        System.out.println("rdd takeOrdered" + rdd.takeOrdered(2));
        System.out.println("rdd reduce" + rdd.reduce((x, y) -> x + y));
        System.out.println("rdd fold" + rdd.fold(0, (x, y) -> x+y));



        System.out.println("rdd aggregate test");
        List<Integer> data = Arrays.asList(5, 1, 1, 4, 4, 2, 2);
        JavaRDD<Integer> javaRDD = sc.parallelize(data, 2);
        Integer aggregateValue = javaRDD.aggregate(3, new Function2<Integer, Integer, Integer>() {    
        @Override    
        public Integer call(Integer v1, Integer v2) throws Exception {        
            System.out.println("seq~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~" + v1 + "," + v2);        
            return Math.max(v1, v2);    
          }
        }, new Function2<Integer, Integer, Integer>() {    
          int i = 0;    
          @Override      
        public Integer call(Integer v1, Integer v2) throws Exception {    
            System.out.println("comb~~~~~~~~~i~~~~~~~~~~~~~~~~~~~"+i++);        
            System.out.println("comb~~~~~~~~~v1~~~~~~~~~~~~~~~~~~~" + v1);        
            System.out.println("comb~~~~~~~~~v2~~~~~~~~~~~~~~~~~~~" + v2);        
            return v1 + v2;   
          }
        });
        System.out.println("~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~"+aggregateValue);


        System.out.println("foreach");
        rdd.foreach(new VoidFunction<Integer>() {

            @Override
            public void call(Integer t) throws Exception {
                System.out.println(t);

            }

        });

    }
}