Windows环境下Spark-Streaming的Shell编程

本文讲述了如何在Windows上安装netcat,配置SparkStreaming环境,并通过一个实际例子展示如何实时筛选包含error的行。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

准备工作:Windows环境下安装Spark。

一、nc(netcat)的安装及使用

1、下载netcat安装包(下载地址:https://eternallybored.org/misc/netcat/)。
在这里插入图片描述安装netcat1.11和1.12都可以,下载可能会被拦截,选“保留”即可。
2、解压安装包,找到nc.exe,复制粘贴到 c盘 users/当前登录用户目录下即可(简单粗暴的方式,也可以自己配置环境变量)。
在这里插入图片描述
3、测试netcat,输入nc -L -p 9999 :
在这里插入图片描述

二、Spark-Streaming编程示例

1、cmd 进入命令行窗口,执行 spark-shell :
在这里插入图片描述
2、cmd打开另一个命令行窗口 输入 nc -l -p 7777 监听7777端口:
在这里插入图片描述
3、第一个命令行窗口下执行下列scala代码实现流式筛选,打印出7777端口实时输入的包含“error”的行:

import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
import org.apache.spark.streaming.StreamingContext
import org.apache.spark.streaming.StreamingContext._
import org.apache.spark.streaming.dstream.DStream
import org.apache.spark.streaming.Duration
import org.apache.spark.streaming.Seconds
 
var ssc = new StreamingContext(sc,Seconds(1))
val lines = ssc.socketTextStream("localhost",7777)
val errorLines = lines.filter(_.contains("error"))
errorLines.print()
 
ssc.start()
ssc.awaitTermination()

在这里插入图片描述
4、在第二个命令行窗口输入下列内容并回车:
first word warning
second the word error
third word normal

5、在第一个窗口中可以看到包含error的行被输出:
在这里插入图片描述

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值