spark streaming程序WordCount运行过程

最新推荐文章于 2022-05-25 11:05:16 发布

原创

最新推荐文章于 2022-05-25 11:05:16 发布 · 置顶 · 2k 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#spark #streaming #wordcount

本文详细介绍了如何运行一个Spark Streaming的WordCount程序。首先，启动Spark服务和nc服务，然后通过设置的端口启动程序。在nc端输入数据，程序会按设定的间隔时间显示结果。如果遇到多次运行导致的任务冲突问题，需终止当前运行的程序并重新提交任务。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、主要过程：

首先安装好spark，启动spark服务；启动nc服务，nc端也将一直处于等待状态；在启动程序，启动后程序一直处于运行状态，运行的间隔时间可以在程序中设置；然后在nc端输入数据，在程序运行段，进行结果的显示。

二、具体过程：

1.启动spark：

[root@hadoop11 sbin]# ./start-all.sh

2.查看master和worker的状态：

访问网址：http://hadoop11:8080/

3.启动nc服务

[root@hadoop11 ~]# nc -lk 9999

注意：（9999为程序中设置的端口号）

4.启动程序服务：

[root@hadoop11 bin]# ./run-example streaming.NetworkWordCount localhost 9999

以下为启动程序的日志：没出现一次时间，表明程序执行一次
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
18/11/07 10:37:09 INFO StreamingExamples: Setting log level to [WARN] for streaming example. To override add a custom log4j.properties to the classpath.
18/11/07 10:37:10 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable