Spark-java相关算子

本文介绍了Spark-java中的一系列算子,包括Transformations算子如filter、count、map、mapToPair、flatMap和reduceByKey,Action算子如collect、count、first、take和sample,以及第二阶段的join操作,如parallelizePairs、join和leftOuterJoin,并强调了在使用过程中需要注意的细节和处理空值的方法。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

Spark-java相关算子练习

Transformations算子

package com.cs.java.spark;

import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.api.java.function.Function;
import org.apache.spark.api.java.function.VoidFunction;

public class Day01 {
public static void main(String[] args) {
    SparkConf conf = new SparkConf();
    conf.setAppName("day01");
    conf.setMaster("local");
    JavaSparkContext sc = new JavaSparkContext(conf);
    sc.setLogLevel("Error");
    
	。。。
	。。。
	

	}
}

filter-过滤

JavaRDD<String> lines = sc.textFile("./Test_spark/data/words2");
//filter过滤
JavaRDD<String> result = lines.filter(new Function<String, Boolean>() {
    @Override
    public Boolean call(String line) throws Exception {
        return "hello spark".equals(line);
    }
});
result.foreach(new VoidFunction<String>() {
    @Override
    public void call(String s) throws Exception {
        System.out.println(s);
    }
});
sc.stop();

count-计数

//count计数
final long count = result.count();
System.out.println(count);
sc.stop();

map-1:1进出一条数据 单个(个,个)

JavaRDD<String> lines = sc.textFile("./Test_spark/data/words2");
JavaRDD<String> map = lines.map(new Function<String, String>() {
  
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值