Spark Streaming入门 - 数据处理api - window算子

最新推荐文章于 2024-08-21 00:36:54 发布

小哇666

最新推荐文章于 2024-08-21 00:36:54 发布

阅读量158

点赞数

分类专栏： # spark 文章标签： spark apache spark

本文链接：https://blog.youkuaiyun.com/qq_41712271/article/details/116234060

版权

spark 专栏收录该内容

76 篇文章

订阅专栏

本文档展示了如何使用Apache Spark Java API实现一个简单的Java Streaming应用，通过JavaReceiverInputDStream接收来自指定IP和端口的网络数据，并进行每2秒一个窗口的统计分析。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

package cn.taobao;
import org.apache.spark.api.java.StorageLevels;
import org.apache.spark.streaming.Durations;
import org.apache.spark.streaming.api.java.JavaDStream;
import org.apache.spark.streaming.api.java.JavaReceiverInputDStream;
import org.apache.spark.streaming.api.java.JavaStreamingContext;

public class Other_win {

    public static void main(String[] args) throws Exception {

        // StreamingContext 编程入口
        JavaStreamingContext ssc = new JavaStreamingContext(
                "local[*]",
                "JavaLocalNetworkWordCount",
                Durations.seconds(1),
                System.getenv("SPARK_HOME"),
                JavaStreamingContext.jarOfClass(Other_win.class.getClass()));

        ssc.sparkContext().setLogLevel("ERROR");

        //数据接收器(Receiver)
        //创建一个接收器(JavaReceiverInputDStream)，这个接收器接收一台机器上的某个端口通过socket发送过来的数据并处理
        JavaReceiverInputDStream<String> lines = ssc.socketTextStream(
                "158.158.4.49", 9998, StorageLevels.MEMORY_AND_DISK_SER);

        /*
        两个时间要为 JavaStreamingContext中 batchDuration 的倍数
         */
        //每过2秒钟，然后显示统计前20秒的数据
        JavaDStream<String> window = lines.window(Durations.seconds(20), Durations.seconds(2));
        window.print();

        //显式的启动数据接收
        ssc.start();
        try {
            //来等待计算完成
            ssc.awaitTermination();
        } catch (Exception e) {
            e.printStackTrace();
        } finally {
            ssc.close();
        }
    }
}

-------------------------------------------
Time: 1619593135000 ms
-------------------------------------------

-------------------------------------------
Time: 1619593137000 ms
-------------------------------------------
a
b
c

-------------------------------------------
Time: 1619593139000 ms
-------------------------------------------
a
b
c
d
e
f