Spark中MapValues算子（可以将value的值加起来，相当于reducebykey；也可以将value的个数加起来，相当于countbykey）

道法—自然

于 2018-08-03 21:22:52 发布

阅读量3.4k

点赞数

本文链接：https://blog.youkuaiyun.com/wyqwilliam/article/details/81394666

版权

该博客介绍了Apache Spark中的MapValues算子，展示了如何使用MapValues将value值相加（类似reduceByKey）或统计value个数（类似countByKey）。通过JavaSparkContext和JavaPairRDD API，博主提供了示例代码，展示如何实现这两个功能。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

package com.bjsxt;

import java.util.Arrays;
import java.util.List;

import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaPairRDD;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.api.java.function.Function;
import org.apache.spark.api.java.function.Function2;
import org.apache.spark.api.java.function.VoidFunction;

import scala.Tuple2;
/**
* MapValues算子
* 传进来的值，传出去的格式可以自己设置，亦即可以定义
* 可以将tuple2中value的值加起来,相当于reduceByKey
* 也可以将key的个数加起来，相当于countByKey
*
* @author Administrator
*
*/
public class MapValues {
   public static void main(String[] args) {
       SparkConf conf=new SparkConf().setAppName("test").setMaster("local");
       JavaSparkContext sc=new JavaSparkContext(conf);
       List<Tuple2<String, Integer>>

最低0.47元/天解锁文章