flink从安装到提交任务

本文详细介绍了如何在Windows环境下进行Flink的本地安装、启动及监控,并演示了通过Netcat接收数据并使用自定义的WordCount程序处理数据的具体步骤。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

本操作全部在Windows下环境进行操作,linux环境下更为简单

下载:

flink这东西安装要启动local模式还是比较简单的,首先从官网上下载 http://flink.apache.org/downloads.html   我下载的是最新版本1.1.3,


解压flink:

下载完后对其进行解压,我解压所在的目录在D:\flink-1.1.3-bin-hadoop26-scala_2.10\flink-1.1.3 


启动flink:

打开cmd  ,

cd /d  D:\flink-1.1.3-bin-hadoop26-scala_2.10\flink-1.1.3 \bin  目录,运行start-local.bat  命令 ,就可以启动flink,  在浏览器下输入

http://localhost:8081/  就可以对flink集群进行监控,可以查看哪些任务正在运行,哪些任务运行失败,哪些任务运行结束。


启动netcat:

cd  /d sparkconall/netcat

nc -l -p  520


提交自己的jar包:

jar包是我自己写了个流接收端口520数据的的wordcount的程序,用maven打成jar包,提交任务如下,

cd  /d D:\flink-1.1.3-bin-hadoop26-scala_2.10\flink-1.1.3\bin

flink   run -c com.wanda.flink.StreamWordCount   D:\wilson.zhou\workspace\rocket-zlast\target\rocket-zlast-0.0.1-SNAPSHOT.jar

run -c  是指指定main方法和jar包


查看运行结果:

cd /d D:\flink-1.1.3-bin-hadoop26-scala_2.10\flink-1.1.3\log

type flink-wilson.zhou-jobmanager-SH-TS-0026LT.out



结果:

(c++,1)
(java,1)
(jsds,1)
(sds,1)
(sdsada,1)
(sdjsjsdas,1)
(ajsdada,1)
(sk,1)
(jav,1)



评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值