flink任务提交&wordcount

flink学习

第二天 flink任务提交&写Wordcount任务

flink任务提交

通过 flink web ui 进行任务提交

向flink集群 提交任务的方式有两种。
昨天已经测试用 flink run 方式的提交任务。今天测试用web页面的方式提交任务。
已经部署好了standalone模式的flink集群
web ui 端口默认为8081

点击右上角 add new 按钮，开始上传 flink程序的jar包
我没有flink jar包，用官方提供的案例jar 测试一下流程。
看一下 flink 的 example 目录

[root@worker19 flink-1.12.7]# ls examples/
batch  gelly  python  streaming  table

有5个文件夹，分别对应 批处理，图计算，Python，流计算，table 的一些案例。

使用的jar包 路径 ：examples/streaming/SocketWindowWordCount.jar
我的工作机器是Windows
copy jar包 到电脑
访问 web界面，点 submit new job
提交jar包

点 SocketWindowWordCount.jar

可以设置 并行度，参数，保存点路径

worker19 用 nc 向8888端口 发数据

[root@worker19 flink-1.12.7]# nc -lk 8888

参数 --hostname worker19 --port 8888
并行度 2
checkpoint path不写
点击 submit
提交成功，注意 一定要先启动 nc 再提交

向 worker19 8888端口 发数据

[root@worker19 ~]# nc -lk 8888
hello flink hello flink 
hello flink hello flink
hello flink hello flink

hello flink hello flink

hello flink hello flink
hello flink hello flink
hello flink hello flink
hello flink hello flink

查看页面taskmanager

设置的并行度为2，第一个taskmanager的stdout没有统计结果，去另一个看，结果如下

删除任务 runjob 任务详情 里的 cancel
或者 关闭 nc 任务也会自动退出

使用flink run 脚本提交

flink run 脚本 的参数说明

Syntax: run [OPTIONS]
“run” action options:

 -c,--class <classname>               需要指定的main方法的类
 -C,--classpath <url>                 指定第三方依赖的url。url需要指定文件的schema如（file://），url所有节点都能访问
 -d,--detached                        在后台运行
 -n,--allowNonRestoredState          是否允许跳过保存点
 -p,--parallelism <parallelism>       并行度
 -m, --jobmanager <arg>               指定job
 -s,--fromSavepoint <savepointPath>   savepoint路径

[root@worker19 flink-1.12.7]# bin/flink run -m worker19:8081 -c org.apache.flink.streaming.examples.socket.SocketWindowWordCount -p 2 examples/streaming/SocketWindowWordCount.jar  --hostname worker19 --port 8888

注意 -m 指定的是jobmanager 节点+rest端口号（默认8081）

向 worker19机器 8888端口 发数据
在web界面 taskmanager stdout 查看输出结果

写 wordcount 的flink程序

创建 flink 模板工程

使用maven命令创建

mvn archetype:generate
-DarchetypeGroupId=org.apache.flink
-DarchetypeArtifactId=flink-quickstart-java
-DarchetypeVersion=1.12.7

使用脚本创建

curl https://flink.apache.org/q/quickstart.sh | bash -s 1.12.7

我在IDEA 里使用 maven 构建flink模板

add archetype 后，勾选 create from archetype，选择flink模板， 新建maven项目
flink-study

项目里有一个批处理 ，一个流处理的 样例类

自己写一个wordcount

package org.example.day02;

import org.apache.flink.api.common.functions.FlatMapFunction;
import org.apache.flink.api.common.function