flink 常见shell命令整理 --笔记整理

#flink run命令 #flink #大数据 #整理

在使用Flink的Shell脚本前，首先需要执行以下操作：

• 初始化环境变量。如果当前集群已启用Kerberos认证，需先配置客户端认证，如果当前集群未启用Kerberos认证，则无需执行该步骤

   source /opt/client/bigdata_env

相关命令:

        1. yarn-session.sh

           启动一个常驻的Flink集群，接受来自Flink客户端的任务。

-at,--applicationType <arg>：为Yarn application自定义类型。

-D <property=value>：动态参数配置。详细动态参数可参考https://nightlies.apache.org/flink/flink-docs-release-1.15/zh/docs/deployment/config/。

-d,--detached：关闭交互模式，启动一个分离的Flink YARN session。

-h,--help: 显示Yarn session CLI的帮助。

-id,--applicationId <arg>：绑定到一个已经运行的Yarn session。

-j,--jar <arg>：设置用户jar包路径。

-jm,--jobManagerMemory <arg>：为JobManager设置内存。

-m,--jobmanager <arg>：要连接的JobManager的地址，使用该参数可以连接特定的JobManager。

-nl,--nodeLabel <arg>: 指定YARN application的nodeLabel 。

-nm,--name <arg>：为Yarn application自定义名称。

-q,--query：查询可用的Yarn 资源。

-qu,--queue <arg>：指定YARN 队列。

-s,--slots <arg>：设置每个Taskmanager的SLOT个数。

-t,--ship <arg>：指定待发送文件的目录。

-tm,--taskManagerMemory <arg>：为TaskManager设置内存。

-yd,--yarndetached：以分离模式启动。

-z,--zookeeperNamespace <args>：指定zookeeper的namespace。

-h：获取帮助。

     2. flink run

         flink提交作业。1."-y"参数是指yarn-cluster模式下使用。2.非"-y"参数用户在用该命令提交任务前需要先用yarn-session启动Flink集群。

-c,--class <classname>：指定一个类作为程序运行的入口点。

-C,--classpath <url>：指定classpath。

-d,--detached：以分离方式运行job。

-files,--dependencyFiles <arg>：Flink程序依赖的文件。

-n,--allowNonRestoredState： 从快照点恢复时允许跳过不能恢复的状态。比如删除了程序中某个操作符，那么在恢复快照点时需要增加该参数。

-m,--jobmanager <host:port>：指定JobManager。

-p,--parallelism <parallelism>：指定job并行度，会覆盖配置文件中配置的并行度参数。

-q,--sysoutLogging：禁止flink日志输出至控制台。

-s,--fromSavepoint <savepointPath>：指定用于恢复job的savepoint路径。

-z,--zookeeperNamespace <zookeeperNamespace>：指定zookeeper的namespace。

-yat,--yarnapplicationType <arg>：为Yarn application自定义类型。

-yD <arg>：动态参数配置。详细动态参数可参考https://nightlies.apache.org/flink/flink-docs-release-1.15/zh/docs/deployment/config/。

-yd,--yarndetached：以分离模式启动。

-yh,--yarnhelp：获取yarn帮助。

-yid,--yarnapplicationId <arg>：绑定到yarn session运行job。

-yj,--yarnjar <arg>：设置Flink jar文件路径。

-yjm,--yarnjobManagerMemory <arg>：为JobManager设置内存（MB）。

-ynm,--yarnname <arg>：为Yarn application自定义名称。

-yq,--yarnquery：查询可用的YARN资源（内存、CPU）。

-yqu,--yarnqueue <arg>：指定YARN队列。

-ys,--yarnslots：设置每个TaskManager的SLOT个数。

-yt,--yarnship <arg>：指定待发送文件的路径。

-ytm,--yarntaskManagerMemory <arg>：为TaskManager设置内存（MB）。

-yz,--yarnzookeeperNamespace <arg>：指定zookeeper的namespace，需与yarn-session.sh -z 保持一致。

-h：获取帮助。

        3. flink run-application

            Flink run-application提交作业。

-D<property=value>：允许指定多个通用配置选项。详细动态参数可参考https://nightlies.apache.org/flink/flink-docs-release-1.15/zh/docs/deployment/config/。

-t,–target：给定应用程序的部署目标，例如yarn-application、yarn-per-job。

-h：获取帮助。

        4. flink info

           显示所运行程序的执行计划（JSON）

-c,--class <classname>：指定一个类作为程序运行的入口点。

-p,--parallelism <parallelism>：指定程序运行的并行度。

-h：获取帮助。

        5. flink list

           查询集群中运行的程序。

-a,--all：显示所有的Job。

-m,--jobmanager <host:port>：指定JobManager。

-r,--running：仅显示running状态的Job。

-s,--scheduled：仅显示scheduled状态的Job。

-z,--zookeeperNamespace <zookeeperNamespace>：指定zookeeper的namespace。

-yid,--yarnapplicationId <arg>：绑定YARN session。

-h：获取帮助。

        6. flink stop

           强制停止一个运行中的Job（仅支持streaming jobs、业务代码 source 端需要 implements StoppableFunction）

 -d,--drain：在触发savepoint和停止作业之前，发送MAX_WATERMARK。

-p,--savepointPath <savepointPath>：savepoint的储存路径，默认目录state.savepoints.dir。

-m,--jobmanager <host:port>：指定JobManager。

-z,--zookeeperNamespace <zookeeperNamespace>：指定zookeeper的namespace。

-yid,--yarnapplicationId <arg>：绑定YARN session。

-h：获取帮助。

        7. flink cancel

            取消一个运行中Job

-m,--jobmanager <host:port>：指定JobManager。

-s,--withSavepoint <targetDirectory>：取消Job时触发savepoint，默认目录state.savepoints.dir

-z,--zookeeperNamespace <zookeeperNamespace>：指定zookeeper的namespace。

-yid,--yarnapplicationId <arg>：绑定YARN session。

-h：获取帮助。

        8. flink savepoint

            触发一个savepoint

         9. start-scala-shell.sh

            scala shell启动脚本

local | remote <host> <port> | yarn：运行模式

        10. sh generate_keystore.sh

             用户调用“generate_keystore.sh”脚本工具生成“Security Cookie”、“flink.keystore”和“flink.truststore”。需要输入自定义密码（不能包含#）。

---

最后：

谢谢大家 记得关注 点赞 给我添加动力哟

@500佰