SparkStreaming部分：读取Socket端口数据（flatMap，maptopair，reducebykey）【Java版纯代码】

SparkStreaming Java版：读取Socket数据并处理

最新推荐文章于 2025-07-16 00:16:53 发布

原创最新推荐文章于 2025-07-16 00:16:53 发布 · 1.1k 阅读

0 ·

CC 4.0 BY-SA版权

本文展示了如何使用Java实现SparkStreaming从Socket端口读取数据，并使用flatMap, mapToPair, reduceByKey等操作进行处理。强调了配置参数如local线程数、延迟度设置以及创建JavaStreamingContext的方法。还提到了output operator的重要性，以及在启动和停止JavaStreamingContext时的注意事项。" 113413766,8504207,Python爬虫进阶：BeautifulSoup详解HTML标签属性与节点访问,"['Python', '爬虫', '后端开发', 'HTML', 'Web Scraping']

SparkStreaming读取Socket端口数据
       1.代码：
           SparkConf conf = new SparkConf().setMaster("local[2]").setAppName("WordCountOnline");
           JavaStreamingContext jsc = new JavaStreamingContext(conf, Durations.seconds(5));
           JavaReceiverInputDStream<String> lines = jsc.socketTextStream("node5", 9999);

           //       JavaSparkContext sc = new JavaSparkContext(conf);
           //       JavaStreamingContext jsc = new JavaStreamingContext(sc,Durations.seconds(5));
           //       JavaSparkContext sparkContext = jsc.sparkContext();
       2.注意：
       * 1、local的模拟线程数必须大于等于2 因为一条线程被receiver(接受数据的线程)占用，另外一个线程是job执行
       * 2、Durations时间的设置，就是我们能接受的延迟度，这个我们需要根据集群的资源情况以及
               监控每一个job的执行时间来调节出最佳时间。
       * 3、创建JavaStreamingContext有两种方式（sparkconf、sparkcontext）
       * 4、业务逻辑完成后，需要有一个output operator
       * 5、JavaStreamingContext.start()straming框架启动之后是不能在次添加业务逻辑
       * 6、JavaStreamingContext.stop()无参的stop方法会将sparkContext一同关闭，stop(false) ,默认为true，会一同关闭
       * 7、JavaStreamingContext.stop()停止之后是不能在调用start

代码实例：

package com.bjsxt;

import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.api.java.function.FlatMapFunction;
import org.apache.spark.api.java.function.Function2;
import org.apache.spark.api.java.function.PairFunction;
import org.apache.spark.sql.SQLContext;
import org.apache.spark.streaming.Duration;
import org.apache.spark.streaming.Durations;
import org.apache.spark.streaming.api.java.JavaDStream;
import org.apache.spark.streaming.api.java.JavaPairDStream;
import org.apache.spark.streaming.api.java.JavaReceiverInputDStream;
import org.apache.spark.streaming.api.java.JavaStreamingContext;

import scala.Tuple2;
import scala.actors.threadpool.Arrays;

public class SparkStreamingTest {
    public static void main(String[] args) {
        SparkConf conf=new SparkConf().setAppName("test").setMaster("local[2]");
        JavaSparkContext sc=new JavaSparkContext(conf);
        JavaStreamingContext jsc=new JavaStreamingContext(sc,Durations.seconds(5));
        JavaReceiverInputDStream<String> lines = jsc.socketTextStream("node01", 9999);
        JavaDStream<String> words = lines.flatMap(new FlatMapFunction<String, String>() {

            @Override
            public Iterable<String> call(String line) throws Exception {
            
                return Arrays.asList(line.split(" "));
            }
        });
        JavaPairDStream<String, Integer> pairwords = words.mapToPair(new PairFunction<String, String, Integer>() {

            @Override
            public Tuple2<String, Integer> call(String word) throws Exception {
                
                return new Tuple2<String,Integer>(word,1);
            }
        });
        JavaPairDStream<String, Integer> result = pairwords.reduceByKey(new Function2<Integer, Integer, Integer>() {
            
            @Override
            public Integer call(Integer v1, Integer v2) throws Exception {
                
                return v1+v2;
            }
        });
        result.print();
        jsc.start();
        jsc.awaitTermination();
        jsc.stop();            
    }
}