SparkStreaming 打印输出demo

最新推荐文章于 2024-04-21 22:57:37 发布

原创

最新推荐文章于 2024-04-21 22:57:37 发布 · 4.9k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#spkstream

本文档提供了一个SparkStreaming的简单操作演示，包括启动监听端口、提交SparkStreaming任务，以及如何通过服务器端口输入数据并观察SparkStreaming的消费过程。在实验中，需要注意端口使用的一对一对应关系，以及在任务运行期间避免端口冲突。

1.nc -lk 9999

-l 使用监听模式，管控传入的资料。
本机开启9999端口
一个server对应一个client，多了可能出问题，也就是下次起sparkstreaming任务时，必须先关了这个端口，重开

2.提交sparkstreaming任务

package com.streaming


import org.apache.spark.streaming.Seconds
import org.apache.spark.streaming.StreamingContext
import org.apache.spark.SparkConf

object Socket
{
  def main(args:Array[String])
  {
    val sc = new StreamingContext(new SparkConf()