Flink On K8S

于 2021-08-04 21:05:10 发布
阅读量362 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/github_31020161/article/details/119392896
本文介绍了一个基于Flink on K8S构建的实时数据处理平台。该平台利用Kubernetes作为底层资源调度管理系统，实现了Flink作业的高效运行与管理。文中详细讨论了Flink版本升级、整体架构设计、CICD流程、状态存储方案等内容，并针对FlinkOnYarn存在的问题提出了改进措施。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

动力

  1. K8S基础能力有保障。
  2. Flink 版本已升级至最新版。
  3. Flink On Yarn的不足。

整体架构

  1. 实时平台
  2. CICD(镜像构建)
  3. Flink On K8s(Ingress创建 Podtemplate)
  4. K8S
  5. Logger
  6. Metrics
  7. Alerts

网络模型

  1. Kong
  2. nodePort
  3. Ingress (ingress-controller+ingress)
  4. Pod

状态存储

  1. HDFS
  2. OSS

容量规划

  1. 网络带宽
  2. 任务热点
  3. DNS解析
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值