准备工作:Windows环境下安装Spark。
一、nc(netcat)的安装及使用
1、下载netcat安装包(下载地址:https://eternallybored.org/misc/netcat/)。
安装netcat1.11和1.12都可以,下载可能会被拦截,选“保留”即可。
2、解压安装包,找到nc.exe,复制粘贴到 c盘 users/当前登录用户目录下即可(简单粗暴的方式,也可以自己配置环境变量)。
3、测试netcat,输入nc -L -p 9999 :
二、Spark-Streaming编程示例
1、cmd 进入命令行窗口,执行 spark-shell :
2、cmd打开另一个命令行窗口 输入 nc -l -p 7777 监听7777端口:
3、第一个命令行窗口下执行下列scala代码实现流式筛选,打印出7777端口实时输入的包含“error”的行:
import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
import org.apache.spark.streaming.StreamingContext
import org.apache.spark.streaming.StreamingContext._
import org.apache.spark.streaming.dstream.DStream
import org.apache.spark.streaming.Duration
import org.apache.spark.streaming.Seconds
var ssc = new StreamingContext(sc,Seconds(1))
val lines = ssc.socketTextStream("localhost",7777)
val errorLines = lines.filter(_.contains("error"))
errorLines.print()
ssc.start()
ssc.awaitTermination()
4、在第二个命令行窗口输入下列内容并回车:
first word warning
second the word error
third word normal
5、在第一个窗口中可以看到包含error的行被输出: