Linux安装nc,以及通过SparkStreming实时统计单词的个数

cmj_971218

于 2020-04-03 12:16:42 发布

阅读量369

点赞数

本文链接：https://blog.youkuaiyun.com/zx_666888/article/details/105290121

版权

本文介绍了如何在Linux上安装netcat工具，通过`yum install -y nc`命令进行安装。并简单提及了使用netcat进行测试，如`nc -lk 9999`创建监听端口。此外，提到了结合SparkStreaming进行实时单词计数的应用场景。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Linux中有一个级强大的网络工具netcat，在默认情况下面都是没有安装的，现在介绍一下安装过程

切换到root用户：

yum install -y nc

测试使用
在一个终端上输入 nc -lk 9999

然后可以输入数据

package day15

import org.apache.spark.streaming.dstream.{DStream, ReceiverInputDStream}
import org.apache.spark.streaming.{Seconds, StreamingContext}
import org.apache.spark.{SparkConf, SparkContext}

object WordCount {
  def main(args: Array[String]): Unit = {
    //1.书写sparkStreaming的程序入口,也就是SparkStreaming
    val conf: SparkConf = new SparkConf().setAppName("wc").setMaster("local[*]")
    //sc只是为了少打印一点日志
    val sc: SparkContext = new SparkContext(conf)
    sc.setLogLevel("WARN")
    //给SparkStreaming运行批次时间参数,每5秒运行一次
    val ssc: StreamingContext = new StreamingContext(sc,Seconds(5))//第一个参数也可以是