9、Flink的部署以及作业提交

本文详细介绍了如何编译Flink 1.7.2源码,从下载、解压到编译过程,以及编译完成后jar包的存放位置。接着讲解了Flink的单机部署步骤,包括前置条件、安装目录拷贝和本地模式启动。还提供了停止作业、提交测试作业、查看作业状态和结果的操作方法。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

Flink源码编译

下载源码:
1、直接下载Flink1.7.2源码
2、通过wget命令下载到服务器

wget https://archive.apache.org/dist/flink/flink-1.7.2/flink-1.7.2-src.tgz

在这里插入图片描述
解压

tar -zxvf flink-1.7.2-src.tgz -C ../source/

编译

mvn clean install -DskipTests -Pvendor-repos -Dfast -Dhadoop.version=2.6.0-cdh5.7.0

编译成功;第一次编译花费了四小时
在这里插入图片描述
编译好的jar包所在目录:我们所需要的安装目录是
/home/hadoop/source/flink-1.7.2/flink-dist/target/flink-1.7.2-bin/flink-1.7.2
在这里插入图片描述

Flink单机部署

官网连接
前置条件:JDK8

将安装目录拷贝到待安装目录下

[hadoop@hadoop flink-1.7.2-bin]$ scp -r flink-1.7.2 ~/app/

对于local模式什么东西都不需要改动;只需要在下面目录启动即可
在这里插入图片描述
停止方法

[hadoop@hadoop flink-1.7.2]$ ./bin/stop-cluster.sh

http://hadoop:8081 访问Flink的UI界面

测试提交作业

#First of all, we use netcat to start local server via
$ nc -l 9000
#Submit the Flink program:
$ ./bin/flink run examples/streaming/SocketWindowWordCount.jar --port 9000

输入测试数据
在这里插入图片描述
提交测试作业
在这里插入图片描述
查看正在运行的作业在这里插入图片描述
查看测试作业结果
在这里插入图片描述
点击停止按钮停止作业
在这里插入图片描述
查看已经完成运行的作业
在这里插入图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值