Spark中RDD flatMap的示例

最新推荐文章于 2025-06-16 13:32:20 发布

anoperA

最新推荐文章于 2025-06-16 13:32:20 发布

阅读量1k

点赞数

CC 4.0 BY-SA版权

分类专栏： Spark

本文链接：https://blog.youkuaiyun.com/a1158375969/article/details/79872598

Spark 专栏收录该内容

6 篇文章

订阅专栏

本文介绍如何使用 Apache Spark 的 Java API 实现 FlatMap 操作。通过一个具体例子展示了如何将输入数据转换为多个输出项，适用于大数据处理场景。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

package examples;

import constant.Constants;
import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.api.java.function.FlatMapFunction;

import java.util.Arrays;

/**
 * RDD.flatMap(Type inputObject):Iterable iterable
 * 输入一个参数, 返回一个包含0-n个数据的集合
 */
public class FlatMapExample {
    public static void main(String[] args) {
        SparkConf conf = new SparkConf()
                .setMaster("local[3]")
                .setAppName("AccumulatorExample");
        JavaSparkContext ctx = new JavaSparkContext(conf);

        JavaRDD<String> linesRDD = ctx.textFile(Constants.TEXT_FILE_PATH);

        JavaRDD<String> wordsRDD = linesRDD.flatMap(
                new FlatMapFunction<String, String>() {
                    public Iterable<String> call(String line) throws Exception {
                        return Arrays.asList(line.split(" "));
                    }
                }
        );

        System.out.println(wordsRDD.collect());
    }
}