Windows环境下Spark-Streaming的Shell编程

原创于 2023-11-09 17:28:25 发布 · 669 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#windows #spark #大数据

本文讲述了如何在Windows上安装netcat，配置SparkStreaming环境，并通过一个实际例子展示如何实时筛选包含error的行。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

准备工作：Windows环境下安装Spark。

一、nc(netcat)的安装及使用

1、下载netcat安装包（下载地址：https://eternallybored.org/misc/netcat/）。
在这里插入图片描述安装netcat1.11和1.12都可以，下载可能会被拦截，选“保留”即可。
2、解压安装包，找到nc.exe，复制粘贴到 c盘 users/当前登录用户目录下即可（简单粗暴的方式，也可以自己配置环境变量）。

3、测试netcat，输入nc -L -p 9999 ：
在这里插入图片描述

二、Spark-Streaming编程示例

1、cmd 进入命令行窗口，执行 spark-shell ：
在这里插入图片描述
2、cmd打开另一个命令行窗口输入 nc -l -p 7777 监听7777端口：

3、第一个命令行窗口下执行下列scala代码实现流式筛选，打印出7777端口实时输入的包含“error”的行：

import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
import org.apache.spark.streaming.StreamingContext
import org.apache.spark.streaming.StreamingContext._
import org.apache.spark.streaming.dstream.DStream
import org.apache.spark.streaming.Duration
import org.apache.spark.streaming.Seconds
 
var ssc = new StreamingContext(sc,Seconds(1))
val lines = ssc.socketTextStream("localhost",7777)
val errorLines = lines.filter(_.contains("error"))
errorLines.print()
 
ssc.start()
ssc.awaitTermination()

在这里插入图片描述
4、在第二个命令行窗口输入下列内容并回车：
first word warning
second the word error
third word normal