【flink脚本系列】 kubernetes-session.sh功能用法示例源码解析

原创 已于 2023-12-24 13:48:05 修改 · 456 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#flink #kubernetes #大数据

于 2023-08-27 11:17:13 首次发布
文章介绍了kubernetes-session.sh脚本，用于在Kubernetes环境中启动Flink会话，包括设置JVM参数、构建类路径、配置日志和启动会话，以及多种用法和示例。

kubernetes-session.sh

文章目录

1. 脚本主要功能

该脚本用于在Kubernetes环境下启动Flink会话（Session）。它包含以下主要功能：

  • 获取Flink配置信息
  • 设置JVM参数
  • 构建Flink类路径
  • 设置日志文件和配置
  • 导出Flink配置目录
  • 启动Kubernetes会话

2. 脚本加上中文注释

bin=`dirname "$0"`
bin=`cd "$bin";
最低0.47元/天 解锁文章
Flink入门系列--安装部署及任务提交(1.14.3版本)
打酱油的葫芦娃
03-12 8239
部署模式 Flink 的部署模式分为3种: Application 模式 Per-Job 模式 Session 模式 Application 模式 Application 模式即 Flink 为1个应用专门创建1个集群，Flink集群和应用同生命周期，Application 的main()方法将由 JobManager执行。在其他部署模式下，用户 Jar 文件是通过 RPC 来进行分发的，因为需要走网络IO，当用户 Jar 文件较大时，JobManager 加载用户 Jar 文件将是1个耗时的操作。为
Flink通过Native Kubernetes(k8s)方式Session模式和Application模式进行部署
Bulut0907
09-15 5629
目录1. Session模式1.1 安装Java1.2 下载Flink并解压1.3 在所有k8s的所有node节点下载flink镜像1.4 创建namespace、service账号和给账号授权1.5 启动flink的jobmanager1.6 访问Flink Web页面1.7 向Flink集群提交任务1.8 再次查看Pod和Flink Web 1. Session模式 1.1 安装Java java 8的安装，请参考我的这篇博客centos7同时安装java8和openJdk11、windows同时安装j
Flink Native Kubernetes 的部署demo
Rowlingz
05-10 919
Flink Native Kubernetes 的部署 Session 模式 Application 模式
Flink-1.10.0 Native Kubernetes 部署方式实践
瓜牛呱呱的博客
03-17 1123
最新发布的Flink有了native Kubernetes的功能，可以根据需求动态的增加、减少pod，非常值得测试 前提 1、1.9版本或者以上的K8s集群，且启用了DNS 2、能够操作pod、service的 KubeConfig 3、有RBAC权限的service Account，用于创建，删除pod 测试 解压flink tar包后，执行如下命令： ./bin/kubernetes-...
Flink部署-yarn模式和K8S模式
weixin_52126591的博客
02-29 1845
以Yarn模式部署Flink任务时，要求Flink是有 Hadoop 支持的版本，Hadoop 环境需要保证版本在 2.2 以上，并且集群中安装有 HDFS 服务。Flink提供了两种在yarn上运行的模式，分别为Session-Cluster和Per-Job-Cluster模式。Session-Cluster 模式需要先启动集群，然后再提交作业，接着会向 yarn 申请一块空间后，资源永远保持不变。
Flink Native Kubernetes实战
程序员欣宸的博客
05-10 4822
Flink Native Kubernetes是1.10版本才有的新功能，通过bin目录下的工具控制kubernetes环境下的flink操作
【flink脚本系列】 kubernetes-jobmanager.sh功能用法示例源码解析
wang2leee的博客
08-27 355
该脚本用于在 Kubernetes 上启动 Flink 的 JobManager，它适用于 Flink 的原生 Kubernetes 集成。
【flink脚本系列】flink-daemon.sh功能用法示例源码解析
wang2leee的博客
08-27 413
该脚本是用于启动和停止 Flink 的各个守护进程。通过传入不同的参数，可以选择启动或停止不同类型的 Flink 守护进程，例如任务执行器（taskexecutor）、Zookeeper、历史服务器（historyserver）、独立会话（standalonesession）、独立作业（standalonejob）和 SQL 网关（sql-gateway）。
【flink脚本系列】 job-manager.sh用能用法示例源码解析
wang2leee的博客
08-27 208
该脚本是用于启动和停止 Flink 的各个守护进程。通过传入不同的参数，可以选择启动或停止不同类型的 Flink 守护进程，例如任务执行器（taskexecutor）、Zookeeper、历史服务器（historyserver）、独立会话（standalonesession）、独立作业（standalonejob）和 SQL 网关（sql-gateway）。
yarn-session.sh -qu 如何设置
最新发布
03-31
嗯，用户问的是关于yarn-session.sh的-qu参数用法和配置方法。首先，我需要回忆一下Flink on YARN的相关知识。记得-qu是用来指定YARN队列的，对吧？用户可能在使用yarn-session的时候需要将任务提交到特定的资源队列...
Kubernetes搭建Flink会话集群
qq_24027439的博客
09-02 1636
Kubernetes搭建Flink会话集群 一、准备工作 linux 系统环境 ：linux系统采用的是Centos 8 、安装linux软件包管理工具yum 安装docker-ce yum install -y docker-ce 启动docker服务 systemctl start docker 查看docker运行状态 systemctl status docker 显示状态 [root@INMS-T ~]# systemctl status docker * docker.serv
flink部署-1.13
第一片心意的博客
12-04 2582
本博客为 flink 1.13 官网中 flink 部署部分内容的翻译整理。
k8s之flink的几种创建方式
weixin_45249411的博客
01-03 2924
在此之前需要部署一下私人docker仓库，教程注意：每台节点的daemon.json都需要配置并重启。
【云原生】Flink on k8s 讲解与实战操作
匠人精神，持之以恒！
10-05 2466
Flink核心是一个流式的数据流执行引擎，并且能够基于同一个Flink运行时，提供支持流处理和批处理两种类型应用。其针对数据流的分布式计算提供了数据分布，数据通信及容错机制等功能。大数据Hadoop之——实时计算流计算引擎Flink（Flink环境部署）
Apache Flink 的 K8s Session 提交流程
Shockang的博客
07-19 1328
从总体上来说，在 K8s 集群上使用 Session 模式提交 Flink 作业的过程分为 3 个阶段： - 首先在 K8s 上启动 FlinkSession 模式的集群 - 其次通过 Flink Client 提交作业 - 再次进行作业调度执行
Flink On K8s使用合集
tamako0v0的博客
07-23 2981
Flink On K8s使用 版本 修订内容 修改人 日期 1.0 初始 刘黎 2020.07.08 1.在K8s上...
kubernetes session保持等设置
热门推荐
bingzhilingyi的博客
04-09 1万+
session保持 如何在service内部实现session保持呢？当然是在service的yaml里进行设置啦。 在service的yaml的sepc里加入以下代码： sessionAffinity: ClientIP sessionAffinityConfig: clientIP: timeoutSeconds: 10800 这样就开启了session保持。下...
Flink（五十）—— 如何使用 Kubernetes 部署 Flink 应用
weixin_42073629的博客
10-22 1323
场景描述：Kubernetes 是目前非常流行的容器编排系统，在其之上可以运行 Web 服务、大数据处理等各类应用。这些应用被打包在一个个非常轻量的容器中，我们通过声明的方式来告知 Kubernetes 要如何部署和扩容这些程序，并对外提供服务。Flink 同样是非常流行的分布式处理框架，它也可以运行在 Kubernetes 之上。将两者相结合，我们就可以得到一个健壮和高可扩的数据处理应用，并且能够更安全地和其它服务共享一个 Kubernetes 集群。 概述 在 Kubernetes 上部署.
Flink On K8S终极实现方案
微信搜：import_bigdata，大数据领域硬核原创作者
12-15 1425
点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源大数据技术与架构点击右侧关注，大数据开发领域最强公众号！大数据真好玩点击右侧关注，大数据真好玩！Flink作为新一代的大数据处理...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

BigDataMLApplication

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值